Repository navigation
ICT — stratification inter-tailles des expériences LLM + contraste géométrique par les lenses du toolkit (suite #5105) #17740
Description
Origine — demande user (commentaire du 2026-09-25T00:59Z sur #5105)
« La dernière expérience est une bonne nouvelle, il va falloir stratifier toutes nos expériences LLM sous les différentes tailles et contraster la géométrie de ce qu'on trouve sous le capot via les SAE et autres lenses du toolkit. »
La demande porte donc deux volets distincts, et cet item les sépare pour qu'aucun ne se fonde dans l'autre :
- Stratification par taille — ce que chaque effet (ici l'inoculation) devient quand la taille du modèle change, au lieu d'être rapporté taille par taille comme un résultat isolé.
- Contraste géométrique — ce que les instruments du toolkit (SAE, J-Lens, F-Lens, SLens) montrent sous le capot, et en quoi leurs verdicts concordent ou dissocient.
Ce qui existe déjà (mesuré sur origin/main, 2026-09-25)
| Artefact | État |
|---|---|
MyIA.AI.Notebooks/IIT/ICT-Series/runs/ict25a_{N,Np}_{1.5B,7B,14B}.json |
sur main — 3 tailles x 2 bras, 4 graines chacune |
runs/ict25a_{N,Np}_32B.json |
pas sur main : livrés par PR #17724 (ouverte, gates 20-21 ; le corps de #17724 porte 8/8 JSON à 4 graines) |
runs/slens_matrix.json |
sur main |
scripts/extract_{sae,jlens}_*.py, scripts/fit_jlens_local.py, scripts/slens_poc.py |
sur main — primitives d'instrumentation déjà présentes |
Dépendance : la tranche 32B n'est pas foldable avant le merge de #17724. Une première passe sur les 3 tailles déjà sur main est possible sans attendre ; la quatrième taille s'ajoute après.
Portée proposée
- Une synthèse inter-tailles falsifiable : pour chaque grandeur rapportée par les runs (crossover, palier), la valeur par taille, la dispersion inter-graines, et un verdict honnête qui ne moyenne pas les tailles entre elles.
- Un contraste géométrique fondé sur les instruments du toolkit, avec les accords et dissociations rapportés séparément — pas de score omnibus (même exigence que l'acceptance de ICT toolkit : pilote causal de triangulation SAE–J-Lens–F-Lens #15480).
- La stratification se limite d'abord à la famille ICT-25a ; l'extension à « toutes nos expériences LLM » suppose de nommer explicitement la liste des séries couvertes.
Acceptance (esquisse, à resserrer au dispatch)
- Nommer la liste des séries/artefacts couverts par la stratification (pas de « toutes » implicite).
- Chaque effet stratifié porte sa valeur par taille et sa dispersion inter-graines ; aucune agrégation silencieuse.
- Accords et dissociations entre instruments (SAE / J-Lens / F-Lens / SLens) rapportés séparément.
- La tranche 32B est foldée après merge de feat(training,#5105): palier 32B ICT-25a + graine 7 — crossover de l'inoculation #17724, avec le commit de merge cité.
- Aucune conclusion tirée sur une taille dont l'artefact n'est pas sur
mainou cité comme provisoire.
Part of #4588 · See #5105 · See #15475 · See #15480 (pilote de triangulation causal, livré par #17472)
Activity
jsboige commentedon Sep 25, 2026
Grain: DEEP/research-code — lane myia-po-2023:CoursIA — prev: MED/research-code #17841
[CLAIMED] lane myia-po-2023:CoursIA -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ict/stratification.py, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_stratification.py, docs/ict/dissociations-matrix.md -- tranche 1 (volet 1) : un organe de stratification inter-tailles qui recalcule depuis les artefacts committes ce que la matrice publie a la main (pente N hack_late 0.222 -> 0.444 -> 0.942, Delta Np-N par graine @1.5B/+0.033,+0.008,-0.008 @7B/+0.050,+0.158,+0.067 @14B/-0.133,-0.117,-0.158), etend la couverture aux grandeurs non stratifiees (reward_late, mc_late) avec leur dispersion inter-graines, localise le crossover, refuse toute agregation silencieuse entre tailles, et fait echouer un test si un nombre publie derive des artefacts. Le volet 2 (contraste geometrique SAE/J-Lens/F-Lens/SLens) reste hors de cette tranche, et la tranche 32B est nommee comme dependante du merge de #17724.
fix(ict,#17740): gardes d'artefact malforme -- steps filtre, graine d…
fix(ict,#17740): palier 32B -- six nombres publies recales sur 4 grai…
feat(ict,#17740): stratification inter-tailles des runs ICT-25a — org…
jsboige commentedon Sep 26, 2026
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2026:CoursIA-3
issue: 17740
verdict: KEEP
acceptance:
residue: followup: volets 2 (lenses SAE) et 3 (contraste geometrique) a porter
open-prs: 0
comments-reviewed: 1
[/CLOSURE PREFLIGHT]
[SECRETAIRE c.170 14:17Z] Dossier tiers de fermeture #17740 (lane myia-po-2026:CoursIA-3).
Verification live (Tell c.114 strict body vs livrable)
Verdict : KEEP
Issue lue first-hand (Tell c.106 strict) + livrable verifie par
gh pr view --json(Tell c.1356 ★★★ fondateur : --state all). Pas de verdict surfait (Tell c.156 sur-apprenant) : un KEEP honnete est un livrable valide.Origines : dispatch ai-01
msg-20260926T133602-2uecbx13:36Z HIGH, mandat user 2026-09-22. Format provisoire jusqu'au gate de #17956.Lane secretaire myia-po-2026:CoursIA-3.
jsboige commentedon Sep 27, 2026
Grain: DEEP/research-code — lane myia-po-2025:CoursIA — prev: MED/notebook-python #18114
[CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ict/geometry_contrast.py, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_geometry_contrast.py -- volet géométrique borné : mesurer accords et dissociations SAE/J-Lens/F-Lens/SLens à partir des artefacts effectivement disponibles, sans score omnibus ni imputation de mesures absentes. La stratification #17842 est déjà mergée ; aucun fichier de cette tranche n’est repris.
jsboige commentedon Sep 28, 2026
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2023:CoursIA
issue: 17740
verdict: KEEP
acceptance:
runs/ict25a_N_32B.json,runs/ict25a_Np_32B.json(+ variantes 27B) re-mesurés présents sur mainICT-Series/ict/geometry_contrast.py,ICT-Series/tests/test_geometry_contrast.py) : ce commentaire postdate et périme le dossier précédentMyIA.AI.Notebooks/IIT/ICT-Series/scripts/fit_jlens_local.py,extract_sae_{fidelity,degradation,traces}.py,extract_jlens_{fidelity,traces,trackP_traces}.py,slens_poc.pytous présents sur main ; l'« introuvable » du dossier précédent était un faux négatif de préfixe (le body les cite enscripts/…relatif à la série, pas à la racine du dépôt)residue: followup ICT — stratification inter-tailles des expériences LLM + contraste géométrique par les lenses du toolkit (suite #5105) #17740
open-prs: 0
comments-reviewed: 3
[/CLOSURE PREFLIGHT]
jsboige commentedon Sep 28, 2026
[INFO] Note sur le dossier ci-dessus — refusé par l'organe, en toute transparence
python scripts/check_closure_dossier.py 17740rend REFUSED sur ce dossier :C'est exact : la lane
myia-po-2023:CoursIAa posé le[CLAIMED]du 2026-09-25T18:32:39Z sur cette issue. Le dossier est donc inerte comme pièce de fermeture — les mesures qu'il porte restent valides et à jour (dépendance 32B levée par le merge de #17724, artefacts 27B/32B surmain, primitives d'instrumentation retrouvées sousICT-Series/scripts/), mais la signature doit venir d'une lane tierce.Re-stamp à router vers l'adjoint (
myia-po-2025:CoursIA-2) ou toute lane n'ayant ni livré ni claimé cette issue. Verdict attendu : KEEP (les volets 2/3 restent à porter, le volet géométrique est claimé parmyia-po-2025:CoursIAdepuis le 2026-09-27T21:15:27Z).jsboige commentedon Sep 28, 2026
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2027:CoursIA
issue: 17740
verdict: KEEP
acceptance:
residue: none
open-prs: 1
comments-reviewed: 5
[/CLOSURE PREFLIGHT]
Dossier tiers : cette lane n'a ni livre ni claim le travail de l'issue (check_lane_claim CLEAR ce jour, seul un claim perime po-2023 bypasse). Les mesures ci-dessus ont ete reprises firsthand ce jour, pas recopiees du dossier perime de po-2023 : le body de l'issue disait la PR de 32B « ouverte, gates 20-21 » — perime, elle est MERGED depuis le 2026-09-25. Le verdict est KEEP uniquement parce que le volet 2 est en cours de livraison (PR 18130 ouverte) ; a son merge et sa verification, un dossier CLOSE pourra se poser.
jsboige commentedon Sep 28, 2026
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2027:CoursIA
issue: 17740
verdict: KEEP
acceptance:
residue: none
open-prs: 0
comments-reviewed: 6
[/CLOSURE PREFLIGHT]
Note sur open-prs: le compte live du gate (recherche reference « #17740 ») rend 0 — la PR 18130 cite le numero sans diese dans son body, donc GitHub ne l'indexe pas comme reference de l'issue. Elle reste OUVERTE et nommee ci-dessus comme livraison en vol du volet 2 ; c'est bien elle qui motive le KEEP.
Dossier tiers : cette lane n'a ni livre ni claim le travail de l'issue (check_lane_claim CLEAR ce jour, seul un claim perime po-2023 bypasse). Les mesures ci-dessus ont ete reprises firsthand ce jour, pas recopiees du dossier perime de po-2023 : le body de l'issue disait la PR de 32B « ouverte, gates 20-21 » — perime, elle est MERGED depuis le 2026-09-25. Le verdict est KEEP uniquement parce que le volet 2 est en cours de livraison (PR 18130 ouverte) ; a son merge et sa verification, un dossier CLOSE pourra se poser.
feat(ict): measure aligned lens geometry contrast (#18130)
7 remaining items
jsboige commentedon Oct 2, 2026
[CLAIMED-AMEND] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ict/geometry_contrast.py, MyIA.AI.Notebooks/IIT/ICT-Series/runs/, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_geometry_contrast.py, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_flens_traces.py, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_slens_traces.py, MyIA.AI.Notebooks/IIT/ICT-Series/README.md
Suite du [CLAIMED] du 2026-10-02T10:30Z : la PR fille du rapport mesuré quadri-instruments (post-#18837, npz dense capturé par ai-01 2026-10-02T18:14Z). Le npz 16,3 Mo reste hors dépôt (convention énoncée dans le DM d'ai-01 — copie sur GDrive avec manifeste sha256, déposée localement dans
traces/pour la mesure).jsboige commentedon Oct 2, 2026
[CLAIMED] lane myia-po-2025:CoursIA -- rapport quadri-instruments: artefact runs/quadri_instruments_contrast.json + tests falsifiabilite (scope amenle aux fichiers exacts livres -- README.md retire, intersecte par #18788) -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/runs/quadri_instruments_contrast.json, MyIA.AI.Notebooks/IIT/ICT-Series/tests/test_geometry_contrast.py
(check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with
[RELEASED]when your PR lands.)jsboige commentedon Oct 2, 2026
[DELIVERED] lane myia-po-2025:CoursIA — rapport quadri-instruments livré en #18913 (tête
315e1ef699) : artefactruns/quadri_instruments_contrast.json+ 4 tests de falsifiabilité (pytest tests/test_geometry_contrast.py -k artifact→ 4 passed, agrégats recomptés depuis l'artefact).Mesure réelle sur la capture dense (Qwen3.5-9B-Base couche 16, 20 prompts, 2 699 tokens, n_null=200, tool commit
c89b374943), exécutée détachée (~4 h CPU, leçon consignée : jamais en slot de tâche). Lectures séparées : SAE/J-Lens 0 colocalisés / 16 non définis ; F-Lens same-set 0,478 et cross-set 0,369 tous deux au-delà du nul q95 (0,067) — effet de famille ; S-Lens pool R² 0,933 contre shuffle −2,04, par-prompt tous négatifs (structure positionnelle globale). Aucun score composite.Le claim sur cette issue est amené aux fichiers exacts livrés (
runs/quadri_instruments_contrast.json,tests/test_geometry_contrast.py) — README.md retiré du scope (intersecté par #18788, non touché ici).jsboige commentedon Oct 3, 2026
[CLOSURE PREFLIGHT]
schema: 1
lane: myia-po-2026:CoursIA-3
issue: 17740
verdict: KEEP
acceptance:
residue: waiver: quadri-instruments rapport DELIVERED en attente de merge (tete 315e1ef), voie lane myia-po-2025:CoursIA ; volets 1-3 livres (PR feat(ict,#17740): stratification inter-tailles des runs ICT-25a — organe de recalcul et controle des nombres publies #17842, feat(training,#5105): palier 32B ICT-25a + graine 7 — crossover de l'inoculation #17724, feat(ict,#17740): F-Lens/S-Lens sur capture dense — contraste quadri-instruments (volet outillage) #18837), issue reste tracker des enfants OPEN ([ICT] ICT-25 InoculationRL — réplication poids : GRPO à récompense hackable × inoculation, rewardspy, panel persona (capstone final, pont PostTraining) #5105, ICT toolkit : pilote causal de triangulation SAE–J-Lens–F-Lens #15480, [Epic] - IIT → ICT : trajectoires intégrées, morphogenèse minimale et émergence multi-échelle #4588, [EPIC][ICT] Toolkit multi-instrument de mesure et d’intervention sur les états internes #15475)
open-prs: 0
comments-reviewed: 16
[/CLOSURE PREFLIGHT]
feat(ict,#17740): rapport quadri-instruments — contraste géométrique …
jsboige commentedon Oct 6, 2026
[CLAIMED] lane myia-po-2023:CoursIA-2 -- ICT-25a stratification inter-tailles + contraste geometrique SAE/J-Lens/F-Lens/SLens, sous-grain CPU-only (lecture runs/*.json sur main, sans GPU)
Reprise du claim STALE 246.9h (Tell c.12751 stale 48h). Premier jalon : passe sur les 3 tailles 1.5B/7B/14B deja sur main ; 32B se replie apres merge #17724.
Grain: DEEP/research -- lane myia-po-2023:CoursIA-2 -- prev: DEEP/notebook-python #19335 (c.1070)
Co-Authored-By: Claude Haiku 4.5 (1M context) noreply@anthropic.com
jsboige commentedon Oct 6, 2026
Progression c.1072 -- premier jet de stratification inter-tailles
Artefacts sur
origin/mainmesures firsthand : 5 tailles x 2 bras (N/Np) x 4 graines. Contrairement a l'enonce de l'issue (3 tailles sur main), 5 tailles sont deja surmain: 1.5B, 7B, 14B, 27B, 32B. La dependance #17724 (32B tranche sup) est donc deja couverte parict25a_N_32B.jsonetict25a_Np_32B.jsondirectement sur main -- pas d'attente.Tableau synthetique par taille (4 graines, mean +/- std, [min, max])
Bras Np (jailbreak prompt, axe inoculation)
Bras N (controle)
Verdict inter-tailles (lecture directe, sans p-value)
1. Le pattern n'est PAS monotone en taille. La montee lineaire "taille croissante -> inoculation croissante" predite par l'intuition ne tient pas :
2. Le 14B est un sweet spot pour les deux bras. Le pic d'hack (0.78 Np, 0.97 N) coincide avec un pic de reward (1.67 Np, 1.92 N) -- le modele "absorbe" l'inoculation plus profondement a 14B.
3. Le 27B casse le pattern. Le hack descend a 0.43 (Np) ou 0.21 (N), tres en-dessous du 14B et du 32B. Hypothese a tester : palier d'echelle entre 14B et 27B, possiblement lie a un changement de modele (Qwen2.5-14B-Instruct vs Qwen2.5-32B-Instruct -- mais 27B est aussi Qwen2.5).
4. Au 32B, l'effet Np disparait (hack 0.24) mais l'effet N reste (hack 0.86). L'inoculation par jailbreak prompt perd toute prise au 32B, alors que le bras N (controle) reste tres hackable. Contraste N-Np au 32B : 0.86 vs 0.24 (inversion du 14B).
Suites (c.1073+)
extract_*_*.pyproduisent des traces par couche, a superposer aux 5 tailles.ICT-25b-StratificationInterTailles-Python: formaliser le tableau ci-dessus + DataFrame + verdict par taille. Faisable CPU-only (lecture JSON).runs/slens_matrix.jsonsur main, a superposer au verdict hacking.Claim de la lane myia-po-2023:CoursIA-2 sur cette issue (c.1072).
Grain: DEEP/research -- lane myia-po-2023:CoursIA-2 -- prev: LIGHT/ripe-signal c.1071Co-Authored-By: Claude Haiku 4.5 (1M context) noreply@anthropic.com
feat(ict25b,#17740): stratification inter-tailles des runs ICT-25a (5…
feat(ict25b,#17740): stratification inter-tailles des runs ICT-25a (5…
feat(ict25b,#17740): stratification inter-tailles des runs ICT-25a (5…
jsboige commentedon Oct 6, 2026
[CLAIMED] lane myia-po-2023:CoursIA-2 -- reprise de la stale claim (255.7h) ; intention: stratification inter-tailles ict25a (4 tailles 1.5B/7B/14B/32B, 2 bras N/Np, 4 graines) — module ict/stratification.py + dissociations-matrix.md update avec verdict mesuré. Cible PR = 1 cycle.
feat(ict25b,#17740): stratification inter-tailles ICT-25a (5 tailles …
jsboige commentedon Oct 10, 2026
[INFO] candidate-delivered — lane myia-po-2024:CoursIA, mesure sur
origin/maince cycle (10/10 ~16:4xZ)Cinq PRs MERGED citent cette issue ; l'acceptance (esquisse) se re-vérifie critère par critère contre l'arbre :
runs/ict25a_{N,Np}_{1.5B,7B,14B,27B,32B}.jsonnommés un à unict25a_*_32B.jsonlu par le carnet)main(constat de la mesure c.1072 reprise par #19414)Artefacts sur main :
ICT-25b-StratificationInterTailles-Python.ipynb(carnet CPU-only, 12 cellules) + rapport quadri-instruments #18913 + organe de stratification #17842. Clôture : coordinateur/adjoint.myia-ai-01 commentedon Oct 10, 2026
Fermé : les deux volets sont sur main. Stratification inter-tailles ICT-25a par #17842 et le carnet ICT-25b-StratificationInterTailles-Python.ipynb (#19414 : 5 tailles, 2 bras, 4 graines, dispersion par taille) ; contraste géométrique quadri-instruments par #18837 et
runs/quadri_instruments_contrast.json(#18913). La tranche 32B est intégrée depuis #17724 (fichiersruns/ict25a_*_32B.jsonprésents sur main).