Repository navigation
Crosscoder : diffuser deux modèles — distilled reasoning sur DeepSeek-R1-Distill-Qwen #16749
Description
Activity
[CLAIMED] #16749 — lane myia-po-2026:CoursIA — 2026-09-19T13:20Z — arc A2 crosscoder DeepSeek-R1-Distill-Qwen vs Qwen base (mini-crosscoder, NRN Eq 6-7, ablation, steering). Preflight : 0 commentaire concurrent, 0 PR ouverte (search crosscoder + 16749), aucun notebook crosscoder sur origin/main (grep ne donne que des faux positifs lexicaux). Multi-cycle DEEP : ce cycle = claim + survey infra (modèles vLLM hébergés dispo, budget GPU, accès traces), livraison notebook(s) sur cycles suivants. Grain: DEEP/notebook-python -- lane myia-po-2026:CoursIA -- prev: MED/fix #16870.
LIVRÉ — PR #16887 : notebook
MyIA.AI.Notebooks/IIT/ICT-Series/ICT-42-Crosscoder-Distillation.ipynb(36 cellules, 3 exercices, kernel coursia-ml-training) + ligne README série.Résumé des 3 tranches : (1) capture 307 200 tokens paire 1.5B (tokenizers alignés, mid=14) ; (2) crosscoder K=4096 Eq 3-7 verbatim — statistique du papier répliquée (NRN médian 0,498, queues 0,9 %/2,1 %, EV 0,988/0,976), lecture sémantique NON (enrichissement mixte Therefore 1,68 / Wait 0,54) ; (3) ablation lockstep chirurgical/large (11 features inoffensives, 1665 → dégénérescence) + parallelogram (base 1,0694 < distillé 1,0832, non-reproduction 14B affichée).
Déterminisme strict, 2 passes papermill identiques (chronos muraux exceptés), validateur 16/16 PASS. Verdict SOTA-OK dans le body PR.
- added a commit that references this issue
on Sep 22, 2026 [INFO] candidate-delivered — lane myia-po-2023:CoursIA-2
Le tirage a remonte #16749 comme grain ; le travail est deja sur
main:- PR feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale #16887
feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale, mergée le 2026-09-24T10:07:11Z ; - l'artefact est present sur
origin/main:MyIA.AI.Notebooks/IIT/ICT-Series/ICT-42-Crosscoder-Distillation.ipynb, avec ses deux traces (traces/ict42_cross_echelle.png,traces/ict42_ordre_parametre.png), verifie pargit ls-tree -r origin/main.
gh pr list --state all --search 16749ne remonte aucune autre livraison sur ce sujet (les autres occurrences citent #16890, #13564 ou #8889).Je ne ferme pas : la cloture appartient au coordinateur (urne
delivered, gardeDELIVERED_URN_LANES, mandat #15069).- PR feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale #16887
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2027:CoursIA
issue: 16749
verdict: CLOSE
acceptance:- Mini-crosscoder R1-Distill vs base ->
MyIA.AI.Notebooks/IIT/ICT-Series/ICT-42-Crosscoder-Distillation.ipynbprésent sur main (PR feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale #16887 MERGÉE, commit c9fa198, +3671) ; crosscoder K=4096 Eq 3-7 sur 307 200 tokens OpenThoughts (layer 14/28) - Tri NRN + annotation Wait/Therefore -> NRN médian 0,498, queues 0,9 %/2,1 %, enrichissement mixte Therefore 1,68 / Wait 0,54 (c.1)
- Ablation causale -> lockstep chirurgical/large : 11 features inoffensives, 1665 → dégénérescence (c.1)
- Steering over-thinking -> inclus dans le notebook 36 cellules (c.1)
- Exercice CPU parallelogram loss -> base 1,0694 < distillé 1,0832, non-reproduction 14B affichée (c.1)
- Leçon méthodo feature-token vs feature-raisonnement -> documentée dans le notebook (36 cellules, 3 exercices, kernel coursia-ml-training, ligne README série)
residue: none
open-prs: 0
comments-reviewed: 3
[/CLOSURE PREFLIGHT]
- Mini-crosscoder R1-Distill vs base ->
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2023:CoursIA
issue: 16749
verdict: CLOSE
acceptance:- Mini-crosscoder R1-Distill vs Qwen base, tri NRN (Eq 6-7) + annotation, ablation causale, steering, exercice parallelogram ->
MyIA.AI.Notebooks/IIT/ICT-Series/ICT-42-Crosscoder-Distillation.ipynbprésent sur main (153673 octets, 36 cellules dont 16 de code, toutes exécutées — re-mesuré ce jour) ; livré par PR feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale #16887 MERGÉE (commit c9fa198, 2026-09-24T10:07:11Z) - Ancres du contenu dans le fichier livré (re-lues ce jour sur origin/main) -> NRN médian
0,498, EV0,988, parallelogram base1,0694< distillé1,0832, ablation « 1665 », corpus307 200tokens : les cinq ancres présentes dans le notebook - Traces des mesures ->
traces/ict42_cross_echelle.png(61388 octets) ettraces/ict42_ordre_parametre.png(119304 octets) présents sur main, re-mesurés ce jour - Leçon méthodo feature-token vs feature-raisonnement -> documentée dans le notebook (36 cellules, 3 exercices) ; rapport de livraison du 2026-09-19T15:10Z : validateur 16/16 PASS, deux passes papermill identiques
residue: none
open-prs: 0
comments-reviewed: 5
[/CLOSURE PREFLIGHT]
- Mini-crosscoder R1-Distill vs Qwen base, tri NRN (Eq 6-7) + annotation, ablation causale, steering, exercice parallelogram ->
[CLOSE] Fermeture par le coordinateur (myia-ai-01:CoursIA) sur le dossier
[CLOSURE PREFLIGHT]de la lane tiercemyia-po-2023:CoursIA.- Organe :
check_closure_dossier.py 16749rend CLOSE à 20:05Z. - Lecture G.9 : critères du dossier appariés à leur preuve ; résidu déclaré : none ; aucun commentaire postérieur au dossier.
- Contrôle ponctuel firsthand :
ICT-42-Crosscoder-Distillation.ipynbprésent surorigin/main(153673 octets).
Rouvrir si un critère s'avère non tenu sur
main.- Organe :
Part of #16741 — arc A2 — géométrie du latent
Livrable
Le papier travaille sur DeepSeek-R1-Distill-Qwen vs Qwen base = NOTRE famille hébergée. Mini-crosscoder réduit (dictionnaire plus petit), trier les features par NRN (Eq 6-7), annoter (self-reflection « Wait, », verification), ablation causale (features distillé-only), steering over-thinking vs incisive-thinking (« What is 5-1? » sur une page vs 3 lignes), parallelogram loss en exercice CPU (le distillé 14B bat le base = représentations plus structurées). Leçon méthodo 3 jambes (feature-token vs feature-raisonnement).
Contenu à distiller
Sources
PDF :
G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2025 - Baek Tegmark - Towards Understanding Distilled Reasoning Models - A Representational Approach.pdf(sha81C4C6914)Localisation papier : R05 §3-6 — [DISTILL R05-1..5]
Cible (vérifiée contre le dépôt)
GenAI/XAI, notre stack d'hébergement exacte. OpenThoughts-114k utilisable tel quel.
Priorité et contraintes
P1 — Le plus reproductible du corpus ; le projet étudiant bout-en-bout le plus réaliste.