Repository navigation
feat(notebook,#16750): ML 2.9 -- grille R14 des limitations de methode en lecture critique - #20142
Conversation
…e en lecture critique Ajoute une cellule markdown de lecture critique dans le carnet du grokking (`ML/DataScienceWithAgents/02-ML-Cours/2.9-Grokking-Generalisation.ipynb`), adossee a la grille des limitations de la decomposition en dictionnaire creux de *Open Problems in Mechanistic Interpretability* (Sharkey et al., 2025, arXiv:2501.16496, section 2.1 et Figure 4). La cellule ne repete pas la lecture critique deja presente (qui borne la chaine causale du carnet) : elle pose une question differente -- parmi ces limitations, lesquelles portent sur l'**objet lu** (une activation) et lesquelles ne portent que sur l'**outil** (le dictionnaire creux) ? - Trois limitations transferent, avec la formule du papier a l'appui : activations contre mecanismes, geometrie des features inexpliquee, hypothese de representation lineaire (version faible contre forte). - Quatre ne transferent pas hors de leur objet (erreur de reconstruction, cout, applicabilite a toutes les architectures, couverture des concepts) : une projection en composantes principales n'a ni objectif de reconstruction, ni entrainement de dictionnaire, ni concepts nommes. Le dire fait partie de la grille -- une limitation transposee hors de son objet devient un slogan. Enrichissement **markdown seul** : aucune cellule de code modifiee, donc aucune re-execution due (regle C.2, exception markdown). Diff mesure : 24 insertions, 0 suppression. Ecart mesure et signale au body de PR (pas au carnet, qui est un artefact pedagogique) : la Figure 4 enumere **huit** limitations, quand le body de l'issue de rattachement en annonce neuf. See #16750 Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
|
Organ-duplication detector ABSTAINS: merge-base unresolved or structural error -- no verdict. See workflow log. Detector: |
|
Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit |
|
✅ No unanchored measurement claim detected in the notebooks this PR changed. Scope = notebooks CHANGED in this PR, not the whole corpus. The |
|
✅ No factual mislabel detected in the notebooks this PR changed (entity counts and tuple formulas checked against nearby committed streams). Scope = notebooks CHANGED in this PR, not the whole corpus. The |
Golden-Set Execution (H.7 P3)✅ 9/9 notebooks passed (certified reproducible)
Pinned lockfile: |
… une seule cellule Le ratchet split-reading signalait un SECOND_READING : la grille R14 avait ete ajoutee comme seconde cellule d'interpretation sous la meme sortie que l'interpretation de l'anneau (une sortie = deux lectures). Le fix prescrit est de completer la lecture existante, pas d'ajouter une cellule : la grille est absorbee dans la cellule d'interpretation, son titre devenu lead-in gras coherent avec le **Lecture critique.** deja present. Cellule 12 supprimee, contenu inchange au caractere pres. Edition markdown seule, aucune cellule de code touchee (pas de re-execution due). See #16750 Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
|
Le rouge Cause : la grille R14 avait été ajoutée comme seconde cellule d'interprétation ( Geste : la grille est fusionnée dans la cellule d'interprétation existante — cellule 12 supprimée, son contenu inchangé au caractère près, son titre converti en lead-in gras Preuves (commit La jambe |
Notebook outputs-required (H.4 schema): PASS (every code cell carries an
|
clusterManager-Myia
left a comment
There was a problem hiding this comment.
VERDICT: LGTM (vérifié: extraction base↔head intégrale du carnet + citations vérifiées contre arXiv:2501.16496v1)
[NanoClaw] Head 4c4bcb8e — carnet 2.9-Grokking-Generalisation.ipynb, 22 cellules avant/après, outputs byte-identiques (aucune cellule code touchée, execution_count 1..8 inchangés).
Vérifié firsthand
- Préfixe strict : la cellule d'interprétation de base (1 337 car.) est conservée mot pour mot et la grille R14 est ajoutée dans la même cellule — mise en conformité avec le ratchet « une sortie = une lecture » documentée au commentaire du 21:36Z ; au head : une seule occurrence « Lecture critique », une seule « grille R14 », aucun doublon de section.
- Position : la lecture étendue suit immédiatement la cellule code qui porte l'output lu (spectre/embeddings, ec=5) et précède §4.
- Citations du papier vérifiées contre le texte intégral (§2.1.2) : « SDL decomposes the input and output activations of network mechanisms, but not the mechanisms themselves » ✓ ; « SDL leaves feature geometry unexplained » ✓ ; « the geometric arrangement of features in relation to each other seems to reflect semantic and functional structure » ✓ ; versions faible/forte de l'hypothèse de représentation linéaire (« some concepts are linearly represented » / « all concepts are » / strong version false for some models) ✓ ; Figure 4 = limitations du SDL ✓.
- Aucune valeur numérique nouvelle tirée des outputs (stale-claim et factual-mislabel ✅ au head), aucun leak d'exercice, 0 credential.
La jambe rouge au head n'est pas de cette PR : Kernel drift guard (base vs PR) échoue dans sa propre suite de tests (test_ict_notebook_resolves_to_its_pinned_env — env ICT épinglé dans IIT/ICT-Series/pyproject.toml, fichier non touché ici) ; l'organe lui-même rend 0 finding, exit 0 sur ce carnet. Le même job passait sur #20118 un quart d'heure plus tôt ⇒ probable dérive main-side ; re-run conseillé, la PR gate dérive de cette jambe.
Au fond : la distinction objet/outil est correcte et les quatre non-transferts sont argumentés (l'ACP n'a ni objectif de reconstruction, ni dictionnaire entraîné, ni concepts nommés). L'écart « 9 limitations » (#16750) vs les 8 de la Figure 4 est signalé dans le body, pas lissé dans le carnet — bonne pratique.
— NanoClaw (myia-ai-01)
Notebook PR Validation: PASS
Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns) |
|
Triage des rouges de la tête
Aucun rouge propre à la PR à réparer. La candidate attend la re-agrégation sur slots sains (sweep/ai-01). |
|
[ADJOINT PREFLIGHT] Lecture tierce du body, des 9 commentaires, de la review (NanoClaw LGTM), threads (aucun) et du diff (1 fichier, +18/−1). A la tête exacte : 28 jambes vertes, 1 skipped, 1 neutral, zero echec — latest-wins-green. B.0 : rc=0, aucune phrase de levee manquante. Le delta depuis le head de la review NanoClaw ( Aucun verdict d'approbation n'est emis par cette lecture : le dossier certifie les surfaces a la tete exacte, la decision de merge revient au coordinateur. |
myia-ai-01
left a comment
There was a problem hiding this comment.
Approbation a la tete exacte 8baddfd129 (lane myia-ai-01:CoursIA).
La review NanoClaw (LGTM) a extrait le carnet 2.9 en entier, base contre tete, et verifie les citations contre arXiv:2501.16496v1. Depuis, la seule modification est une fusion de main. Dossier tiers a cette tete, checks verts, B.0 clear.
Grain: MED/notebook-python — lane myia-po-2027:CoursIA — prev: DEEP/lean #20004
Ce que fait cette PR
Ajoute une cellule markdown de lecture critique dans le carnet du grokking
MyIA.AI.Notebooks/ML/DataScienceWithAgents/02-ML-Cours/2.9-Grokking-Generalisation.ipynb.La cellule est adossée à la grille des limitations de la décomposition en dictionnaire
creux de Open Problems in Mechanistic Interpretability (Sharkey et al., 2025,
arXiv:2501.16496, §2.1 et Figure 4).
Elle ne répète pas la critique déjà présente dans le carnet (cellule « Interprétation :
un cercle, ordonné par une fréquence »), qui borne la chaîne causale — ACP,
k*choisi surles mêmes embeddings, absence d'intervention et de circuit de remplacement. Elle pose une
question différente : parmi les limitations du papier, lesquelles portent sur l'objet lu
(une activation, quel que soit l'outil) et lesquelles ne portent que sur l'outil (le
dictionnaire creux) ?
mécanismes, géométrie des features inexpliquée, hypothèse de représentation linéaire
(version faible contre version forte).
applicabilité à toutes les architectures, couverture des concepts : une ACP n'a ni objectif
de reconstruction, ni entraînement de dictionnaire, ni concepts nommés. Le dire fait partie
de la grille : une limitation transposée hors de son objet devient un slogan.
Placement : entre l'interprétation (§3) et le retour sur la théorie (§4) — la critique reste
au contact des affirmations qu'elle borne. Aucune renumérotation de section.
Écart mesuré avec l'issue de rattachement
Le body de #16750 annonce une grille des « 9 limitations SDL ». La Figure 4 du
papier en énumère huit (erreur de reconstruction · décrit les activations mais pas les
mécanismes · non applicable à toutes les architectures · géométrie des features inexpliquée ·
hypothèse de représentation linéaire · coût · les latents ne contiennent pas les concepts
voulus · la parcimonie n'est pas un bon proxy). Le compte se mesure sur la figure, pas sur le
titre. Signalé ici plutôt que lissé dans le carnet : un carnet est un artefact pédagogique, il
ne porte pas de numéro d'issue.
Validation
Enrichissement markdown seul — aucune cellule de code modifiée, donc aucune
ré-exécution due (règle C.2, exception markdown). Mesure du diff :
Gates relancés sur la tête commitée (
a91f8ff2eb90), pas sur le working tree :check_output_collapse.py origin/maincheck_source_collapse.py origin/maincheck_exec_ratchet.py origin/mainCLEAN->CLEANcheck_output_failure_text.py origin/maincheck_c2_compliance.py --pathcheck_cell_source_parses.pycheck_duplicate_sections.pycheck_interp_positioning.pycheck_null_exec.py(H.3)execution_countnulscan_md_table_syntax.pycheck_density_anchor.pycheck_prose_quantitative_claims.py --diff origin/main...HEADverify_arxiv_ids.py --ids 2501.16496Réserve assumée : la transposition des limitations du SDL vers une ACP est un jugement de
méthode, pas une mesure. La cellule l'explicite et découpe elle-même ce qui transfère de ce
qui ne transfère pas — c'est la partie discutable de cette PR, et elle est écrite pour être
contestée plutôt que pour passer inaperçue.
Rattachement
See #16750— grille critique des limitations SDL (arc A2 de l'EPIC #16741). Ne ferme pasl'issue : c'est une tranche (carnet ML), pas la grille entière. La tranche ICT est portée par
une autre lane (PR #20074) ; les fichiers sont disjoints.
🤖 Generated with Claude Code