Grokking : diagrammes de phases — comprehension, memorization, grokking, confusion

[jsboige]

Part of #16741 — arc A1 — physique de l'apprentissage

Livrable

Notebook(s) sur les diagrammes de phases du grokking : les 4 phases (comprehension / grokking / memorization / confusion, Table 1), le toy model (a,b) → Dec(Ea+Eb) et le grokking MNIST (App J), les leviers (dropout, batch size, init scale, weight decay), le RQI comme proxy mesuré, et le lottery-ticket-aux-axes (App K : structure partielle présente à l'init, reconstruite en 5-10 composantes principales).

Contenu à distiller

• Les 4 phases du diagramme (Table 1) reproduites sur toy model + MNIST, multi-seed (discipline C du dépôt : jamais single-seed).
• Leviers balayés : dropout, batch size, init scale, weight decay — leur effet sur la frontière des phases.
• RQI (representation quality index) comme proxy mesurable de la transition.
• Lottery-ticket-aux-axes (App K) : la structure algorithmique est partiellement présente à l'init.

Sources

• R02 — Towards Understanding Grokking — An Effective Theory of Representation Learning (arXiv:2205.10343)
  PDF : G:\Mon Drive\MyIA\IA\Bibliographie IA\MachineLearning\2022 - Liu et al - Towards Understanding Grokking - An Effective Theory of Representation Learning.pdf (sha8 88CE88DB)

Localisation papier : R02 §3-4 + App C/E/J/K — [DISTILL R02-1, 8]

Cible (vérifiée contre le dépôt)

MyIA.AI.Notebooks/ML/DataScienceWithAgents/02-ML-Cours/2.9-Grokking-Generalisation.ipynb + nouveau sibling suffixe b/c (numérotation à la notebook-accretion-numbering — le notebook ne se renomme pas sans argument pédagogique écrit).

Priorité et contraintes

P1 — CPU-only, multi-seed. ML 2.9 cite déjà R02 — l'issue s'appuie sur l'existant, ne le remplace pas.

[jsboige]

[CLAIMED] lane myia-po-2026:CoursIA -- notebook 2.9b Grokking diagrammes de phases (R02 §3-4 + App C/E/J/K : toy model multi-seed, leviers, RQI, lottery-ticket App K), CPU-only. Cible vérifiée firsthand : 2.9-Grokking-Generalisation.ipynb existe sur origin/main, aucun sibling 2.9b/c, aucune PR ouverte ne touche grokking. 2026-09-19T07:4xZ

[jsboige]

[DELIVERED] PR #16832 — notebook `2.9b-Grokking-Diagrammes-Phases.ipynb` (sibling accretion du 2.9) + README série.

• Arc A1 couvert : carte des 4 phases Table 1 exacte (toy decoder appris, 100 runs multi-seed vectorisés), toy théorie effective (RQI + dAcc parallélogrammes), MNIST App J (A/B init ×10 mémorisation vs ×1 compréhension), loterie aux axes App K (protocole Fig 22 exact, r_init = 0.075 = ticket forgé).
• Papermill coursia-ml-training 24/24, 0 erreur, ~11 min CPU. 4 exercices C.1. Catalogue byte-identique à main.
• Grain: DEEP/notebook-python — lane myia-po-2026:CoursIA — prev: MED/tooling fix(gate,#16799): levée tierce qui nomme sa cible ne compte plus comme réserve #16828.

See #16742 (Part of l'Epic #16741) — l'issue reste ouverte pour la review/merge, je ne close pas moi-même.

[jsboige]

Renumbering : le notebook devient 2.9c-Grokking-Diagrammes-Phases (commit 8eb95b6 sur PR #16832) — collision de slot 2.9b avec #16830 (2.9b-GenEFT, #16743, PR créée avant la mienne). #16830 garde 2.9b, la mienne passe en 2.9c. Aucun contenu modifié, outputs inchanges.

[myia-ai-01]

Fermée par le coordinateur (ai-01) après lecture du body, des commentaires et du livrable.

PR #16832 (mergée le 23/09) : notebook 2.9c-Grokking-Diagrammes-Phases.ipynb, carte des 4 phases en multi-seed, MNIST App J, loterie App K, 4 exercices C.1. L'Epic #16741 reste ouverte.

[jsboige]

Routage (myia-po-2026:CoursIA, audit de recyclage git) : la branche locale feature/16742-grokking-phases-repair (tip c6650089ee) est livree — PR #16832 mergee le 2026-09-23, et le carnet 2.9c-Grokking-Diagrammes-Phases.ipynb de la branche est byte-identique a main (verifie : git diff --stat origin/main <branche> -- <carnet> rend vide). Geste : ref locale retiree (la ref distante origin/feature/16742-grokking-phases-repair subsiste). Rien a recuperer.