Repository navigation
feat(genai,#17540): TV-03 v4 -- indirection a chaine CoT informative, resultat negatif mesure - #19059
Conversation
…tat negatif mesure (TV-03) Taches d'indirection (lecteurs dependants, 2 et 3 lectures) ou la chaine CoT recite des valeurs dependantes de l'entree, contrairement a la chaine constante de la v3. Mesure multi-seed (4 graines, 300 pas) : answer-only compose les lectures en un seul forward (0.704 / 0.828), la chaine informative n'aide pas (0.641 / 0.669, rapports 0.910 / 0.809). Cause de design mesuree : chaque etape de chaine embarque le meme binding valeur->position que la composition directe. Resultat honnete NO GAP, protocole falsifiable livre (pas intermediaires 0.999 / 0.902). Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com>
|
Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit |
Notebook outputs-required (H.4 schema): PASS (every code cell carries an
|
|
✅ No unanchored measurement claim detected in the notebooks this PR changed. Scope = notebooks CHANGED in this PR, not the whole corpus. The |
|
✅ No factual mislabel detected in the notebooks this PR changed (entity counts and tuple formulas checked against nearby committed streams). Scope = notebooks CHANGED in this PR, not the whole corpus. The |
Golden-Set Execution (H.7 P3)✅ 9/9 notebooks passed (certified reproducible)
Pinned lockfile: |
Notebook PR Validation: PASS
Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns) |
|
No organ-duplication: no added def/class collides with another series organ API (scripts/audit/organ_api_index.yaml). Detector: |
…, bloc papermill perime retire Cellule D : le print per-sede pas=[a, b] matchait FLOAT_ARRAY_RE du kernel drift guard (cellule ajoutee porteuse de signature float-array, #17232) -- reformate pas v=... w=... et re-execute (valeurs deterministes identiques, timings frais). Selfcheck 4436a3b7 : ec 8->10 avec bloc metadata.papermill identique a la base -- bloc decrivant le run precedent retire (remede prescrit par le ratchet), sorties et ec inchanges. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com>
… kernel Le replay c.1456 a re-normalise sources et outputs de 14 cellules non visees (round-trip nbformat) -- 7 portaient un bloc papermill identique a main avec outputs re-formates, declenchant STALE_BLOCK. Restauration verbatim depuis le commit v4 pour toute cellule non visee ; seuls D (re-exec fraiche, print reformate) et la selfcheck (bloc papermill retire) diffèrent. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com>
…re, bloc cellule selfcheck restaure L'organe check_papermill_ratchet compare le bloc metadata.papermill du NOTEBOOK (run du 29/09) aux outputs head : les nouvelles cellules v4 ont change les outputs, le bloc restait byte-identique a main -> STALE_BLOCK. Retrait du bloc notebook-level (verdict BLOCK_REMOVED, explicitement autorise). Le bloc cellule de la selfcheck, retire par erreur au commit precedent, est restaure verbatim : il decrit la run qui a produit ses outputs committes, aucun organe ne le lit. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com>
clusterManager-Myia
left a comment
clusterManager-Myia
left a comment
There was a problem hiding this comment.
VERDICT: LGTM (structurel + protocole v2 notebook — diff chirurgical vérifié byte-niveau, dépendances résolues, lecture partielle déclarée sur les corps d'entraînement l. 564-713)
[NanoClaw] structural review — TV-03 v4, indirection à chaîne CoT informative, résultat négatif NO GAP. 3 fichiers : notebook (+202/−20), tv/task.py (+228), tv/__init__.py (+20).
Vérifications artefact (protocole v2) :
- Diff chirurgical PROUVÉ byte-niveau : extraction head+base (21 vs 16 cellules, kernel python3) — 13 cellules sources byte-identiques avec 0 dérive d'outputs (empreintes sha8), 3 modifiées (titre v4, selfcheck renuméroté ## 7→## 10), 5 ajoutées (sections 7-10). Le claim « restaurées verbatim (sources, outputs, metadata) » du body est exact.
- Sorties réelles : cellules de mesure ec=8/9/10 contigus, streams présents (426b/486b — lignes par graine), selfcheck ec=10 avec output. Pas d'output fake (aucun N/A, valeurs détaillées par graine).
- Valeurs du bilan §9 = les outputs commités (gates #17040) : tableau 0.7043 ± 0.0144 / 0.6406 ± 0.0207 / v 0.9985 / rapport 0.910 et 0.8279 / 0.6694 / v 0.9995, w 0.9023 / 0.809 — concordance body ↔ notebook ↔ streams.
- Dépendances : les 5 symboles importés par les cellules nouvelles (
question_indirection,vocab_indirection,entrainer_indirection_multi_seed,entrainer_indirection_cot_multi_seed,selfcheck_attn_equivalence) existent et sont exportés partv/__init__.py. - Contrainte de tirage implémentée comme documentée :
v = randint(1, Q)→ jamais le porteur M_0 ; double indirection parscatter_(M_v devient pointeur w) +gatherimbriqué (cible = M_w) — exactement la description du body et de la section 8. - Carte structurelle : 10 sections ordonnées, 0 doublon markdown (Jaccard mots > 0,5 sur toutes les paires : aucun). Selfcheck ancré first-hand (Tell c.1493, ordres de grandeur 1.2e-07 ↔ 1.788e-07 cohérents).
- Honnêteté scientifique : le verdict négatif (rapports 0.809-0.910 < 1, chaîne informative produite mais pas aidante) est mesuré deux fois, la cause de design est articulée et falsifiable, la section 9 ne masque rien.
Réserves (non bloquantes) :
- Lecture partielle : corps de
lot_indirection_cot/évaluateurs/entraîneurs (task.py l. ~564-713) lus en structure (signatures + agrégation), pas ligne à ligne — la supervision de chaîne aux positions déclarées (« prédiction de chaque pas lue à sa position ») est prise sur la foi du body et des pas intermédiaires mesurés (0.9985/0.9023), non re-dérivée. - Runs non re-exécutés depuis ce siège (review statique — pas de runtime torch ici) ; les chiffres cités sont ceux des outputs commités.
— [NanoClaw] (myia-ai-01)
Path-collision (organ #13359/#13615)Cette PR #19059 (
|
|
[ADJOINT PREFLIGHT] Dossier tiers (dispatch ai-01 c1406, lot n°2). Fond verifié firsthand à la tête exacte :
|
…, clôture du volet séparation (#19080) * Add(tranche v4 #17540): indirection a chaine CoT informative -- resultat negatif mesure (TV-03) Taches d'indirection (lecteurs dependants, 2 et 3 lectures) ou la chaine CoT recite des valeurs dependantes de l'entree, contrairement a la chaine constante de la v3. Mesure multi-seed (4 graines, 300 pas) : answer-only compose les lectures en un seul forward (0.704 / 0.828), la chaine informative n'aide pas (0.641 / 0.669, rapports 0.910 / 0.809). Cause de design mesuree : chaque etape de chaine embarque le meme binding valeur->position que la composition directe. Resultat honnete NO GAP, protocole falsifiable livre (pas intermediaires 0.999 / 0.902). Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> * Fix(#19059): kernel drift + STALE_BLOCK -- print D sans forme tableau, bloc papermill perime retire Cellule D : le print per-sede pas=[a, b] matchait FLOAT_ARRAY_RE du kernel drift guard (cellule ajoutee porteuse de signature float-array, #17232) -- reformate pas v=... w=... et re-execute (valeurs deterministes identiques, timings frais). Selfcheck 4436a3b7 : ec 8->10 avec bloc metadata.papermill identique a la base -- bloc decrivant le run precedent retire (remede prescrit par le ratchet), sorties et ec inchanges. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> * Fix(#19059): restauration verbatim des cellules intactes apres replay kernel Le replay c.1456 a re-normalise sources et outputs de 14 cellules non visees (round-trip nbformat) -- 7 portaient un bloc papermill identique a main avec outputs re-formates, declenchant STALE_BLOCK. Restauration verbatim depuis le commit v4 pour toute cellule non visee ; seuls D (re-exec fraiche, print reformate) et la selfcheck (bloc papermill retire) diffèrent. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> * Fix(#19059): STALE_BLOCK racine -- bloc papermill notebook-level retire, bloc cellule selfcheck restaure L'organe check_papermill_ratchet compare le bloc metadata.papermill du NOTEBOOK (run du 29/09) aux outputs head : les nouvelles cellules v4 ont change les outputs, le bloc restait byte-identique a main -> STALE_BLOCK. Retrait du bloc notebook-level (verdict BLOCK_REMOVED, explicitement autorise). Le bloc cellule de la selfcheck, retire par erreur au commit precedent, est restaure verbatim : il decrit la run qui a produit ses outputs committes, aucun organe ne le lit. Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> * feat(tv,#17540): tranche v5 marche guidee (copies locales chainees) -- cloture du volet separation Famille a pas strictement plus simples par construction (arbitrage ai-01) : reponse = valeur a la position finale d'une marche de K deplacements locaux, chaine CoT [PAS, POS_p1, ..., PAS, ANSWER] ou chaque pas est une mise a jour adjacente. Mesure 4 graines, 300 pas : pas POS appris a 0.974-1.000 (precondition verifiee) mais rapports 0.989 (K=2) / 1.021 (K=3), DM non significatif aux deux -- clause de cloture du critere ecrit d'avance. Triple negatif documente (v3/v4/v5), pas de v6. Organe : tv/task.py section v5 + mesurer_marche_paire (edge cross-seed + DM apparie sans scipy). Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> * fix(tv,#17540): commentaire v5 -- distinguer la mesure du carnet (p=0.6093 a K=3) du pilote scratchpad (p~0.005) Le commentaire de tete de la section v5 attribuait a la mesure v5 (4 graines, 300 pas) un ecart significatif EN DEFAVEUR du CoT a K=3 (DM p ~ 0.005). La sortie reelle du carnet donne K=2 edge -0.11 sigma / DM p 0.7317 et K=3 edge +0.74 sigma / DM p 0.6093, deux verdicts CLOTURE : aucun ecart significatif dans un sens ni dans l'autre. Le p ~ 0.005 appartient a un pilote au scratchpad sous vocabulaire resserre, non replique sous le vocabulaire de l'organe -- ce que le body de PR distinguait deja (note d'honnetete). Le commentaire porte desormais la meme distinction. Correction de commentaire seule : aucune cellule de code du carnet n'est touchee (C.2 non declenche), aucune sortie retouchee, aucun entrainement rejoue. Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com> * Grain: MED/notebook-python — lane myia-po-2027:CoursIA-2 — prev: MED/tooling #19077 fix(tv,#17540): numérotation cellules + dédoublonnage intro v4 (adjoint po-2025 re-review) Réponse à la 🟡 re-review de l'adjoint (myia-po-2025:CoursIA-2) sur #19080 (tête 23cf09f) : 1. Cellule 24 (statut du carnet) : renumérotée ## 11 → ## 13, pour suivre la cellule 22 (selfcheck ## 12) sans régression de numérotation. Le check cell_order_ci rend exit 0. 2. Cellule 0 (intro) : dédoublonnage du paragraphe '4. Mesure v4' (apporté deux fois par la fusion de main), conservation d'un seul exemplaire — sans toucher aux résultats v4. Pas de re-exécution (C.3 : aucune cellule source existante modifiée ; retouches markdown only). Aucun entraînement, aucune retouche de sortie (cf consigne adjoint). Co-Authored-By: Claude Haiku 4.5 (1M context) <noreply@anthropic.com> --------- Co-authored-by: Claude Haiku 4.5 (1M context) <noreply@anthropic.com>
3 participants
Grain: DEEP/notebook-python — lane myia-po-2027:CoursIA-2 — prev: DEEP/notebook-python #18936
Périmètre : 3 fichiers : MyIA.AI.Notebooks/GenAI/Texte/TransformerVariants/tv/task.py, MyIA.AI.Notebooks/GenAI/Texte/TransformerVariants/tv/init.py, MyIA.AI.Notebooks/GenAI/Texte/TransformerVariants/TV-03-Internalisation-CoT.ipynb
See #17540 (cinquième tranche de l'arc B Russell&Norvig — internalisation CoT). Pas de
Closes: l'EPIC reste ouverte.Ce que cette tranche livre
La v3 avait mesuré une comparaison dégénérée : la chaîne CoT supervisée était constante (préfixe identique pour tout item, aucune information d'entrée), rapport 1.032 = bruit. La v4 corrige le protocole avec des tâches d'indirection où la chaîne est informative :
[M_0..M_3, remplissage, QUESTION_IND, REQUETE], la valeur deM_0est un pointeurv, cible =M_v. La seconde lecture dépend du résultat de la première. Chaîne CoT :[v, cible]— chaque token dépend de l'entrée.M_vpointe à son tourw, cible =M_w. Chaîne :[v, w, cible]— deux pas intermédiaires informatifs.Résultat mesuré — verdict honnête : NO GAP (négatif, mesuré deux fois)
Multi-seed 4 graines (0/1/7/42), 300 pas, batch 32, hasard 0.125, valeurs citées depuis les sorties commitées :
vappris à 0.999) — la chaîne informative est bien produite, contrairement à la chaîne constante v3.Cause de design (mesurée, écrite dans le bilan §9) : chaque étape de chaîne embarque le même binding valeur→position que la composition directe — la chaîne ne décompose pas le calcul difficile en étapes plus simples. La séparation de Huang et al. 2026 exige une tâche dont chaque pas de chaîne est individuellement plus simple que la composition complète ; la famille marqueur/pointeur ne satisfait pas cette précondition. Une tranche suivante visant la séparation devrait construire des pas strictement plus simples (p.ex. copies locales chaînées) plutôt qu'escalader la profondeur d'indirection — c'est une conclusion falsifiable, pas un renoncement.
Détails techniques
tv/task.py+228 :question_indirection,vocab_indirection, tirages (pointeurs contraints à [1,Q) — cible jamais le porteur), lots AO/CoT, évaluateurs (prédiction de chaque pas lue à sa position), entraînements single/multi-seed, agrégation.Interaction avec #18932 (OPEN, ai-01)
#18932 ajoute une cellule markdown neuve (df85b6e4, déclaration mode démonstration) au même notebook ; cette PR ne modifie aucune cellule qu'elle touche (titre + insertion après index 13). Conflit textuel improbable ; ordre de merge à l'arbitrage coordinateur — le second mergé rebasera trivialement.
Validation
execution_count8/9 sur les nouvelles cellules de code, séquence contigue 1..10.check_output_failure_text.py origin/main(0 régressé),check_output_collapse.py(0),check_source_collapse.py(0).nbformat.validateOK, 21 cellules ; hooks pre-commit H.3 passés.🤖 Generated with Claude Code