Skip to content

[ICT][case 4] ICT-21b : exécuter la sonde J-lens sur les traces existantes #20322

Open
Open
[ICT][case 4] ICT-21b : exécuter la sonde J-lens sur les traces existantes#20322

Description

@jsboige
jsboige
opened on Oct 11, 2026

Décision et provenance

Fille de correction case 4 de #11690, issue de la séance rapportée par ai-01 : Point 12. La PR #20317 consigne les décisions ; elle ne livre pas ces corrections.

Constat à re-vérifier avant modification

La section de sonde J-lens porte encore des résultats None ; la séance a choisi son exécution CPU plutôt qu'un simple retitrage.

Artefact : MyIA.AI.Notebooks/IIT/ICT-Series/ICT-21b-SAECalibration-Python.ipynb. Les chiffres historiques servent à localiser le défaut, pas à remplacer une mesure fraîche.

Acceptance

  • Brancher et exécuter la sonde J-lens sur les traces existantes avec l'organe réel.
  • Produire des sorties qui répondent à la question de prédiction des logits et documenter les limites mesurées.
  • La comparaison sondes-vs-SDA peut rester l'exercice 4 ; exécuter le carnet complet sans erreur volontaire.

Périmètre et déconfliction

Pas d'entraînement GPU imposé ici ; réparer l'environnement local si nécessaire, ne pas fabriquer des sorties.

Aucun renommage avant validation de la carte cible #20298. Vérifier les claims et les PRs ouvertes sur les chemins avant édition. Aucun claim de lane ni dispatch implicite par cette création.

See #11690, #20317.

Activity

  1. jsboige commented on Oct 11, 2026

    @jsboige
    jsboige
    on Oct 11, 2026
    OwnerAuthor

    [CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ICT-21b-SAECalibration-Python.ipynb -- exécuter la sonde J-lens sur les traces existantes avec l'organe réel (point 12 de la séance), sorties de prédiction des logits + limites documentées, carnet complet sans erreur volontaire. Coordination : #20323 reste en attente de la livraison #20087 (claim po-2024:CoursIA-2 sur le même carnet ICT-23, l'ordre dédup→lecture P1 préserve les chiffres).

    Grain: DEEP/notebook-python — lane myia-po-2025:CoursIA — prev: LIGHT/infra #4174

  2. jsboige commented on Oct 11, 2026

    @jsboige
    jsboige
    on Oct 11, 2026
    OwnerAuthor

    [INFO] candidate-delivered — lane myia-po-2025:CoursIA — le constat décrit un état antérieur du carnet ; les trois cases d'acceptance sont déjà satisfaites sur main.

    Re-vérification firsthand (worktree propre sur origin/main à 68972f1), par case d'acceptance :

    1. Sonde branchée et exécutée sur les traces avec l'organe réel — cellule « Accord J-lens vs modèle par taille et profondeur relative » (exec_count: 9, 2 outputs réels) consomme les traces commitées traces/calib_jlens_qwen3-1-7b.npz et calib_jlens_qwen3-5-2b.npz (présentes dans git ls-files), produites par l'organe ICT-Series/scripts/extract_jlens_fidelity.py (+ ict/jlens_traces.py, tests/test_jlens_traces.py). Vérifié exécutée dès 6aa8452e70 (2026-10-02, rename(#16231): tranche ICT -- suffixe noyau -Python (64 carnets + re-exec) #18649) — antérieure à la séance d'arbitrage.
    2. Sorties répondant à la question de prédiction des logits + limites documentées — les outputs committés donnent overlap@10 / L2 relative / KL(nats) par échelle et profondeur (1.7B : 0,0063→0,0213 et KL 22,48→12,52 ; 2B : 0,0146→0,0423 et KL 11,07→8,18), complétés par la lecture dédiée (non-réduction aux trois métriques, dépendance de domaine narrative_en, non-comparabilité FVU↔overlap) et par le croisement causal FVU×overlap de la mesure R14-(6) (867c2052ca, 2026-10-10 08:26, Feat(ict,#16750): grille critique R14 sur ICT-21b + mesure limitation n.6 (FVU vs overlap@10) #20085).
    3. Exercice 4 conservé en stub C.1 ; carnet exécutable de bout en bout — les None restants sont uniquement ceux de l'exercice étudiant (# TODO etudiant, conformes C.1) ; grep raise NotImplementedError/assert False/1/0 = 0 ; execution_count continus 1→12, dernière exécution complète au 2026-10-10 (Feat(ict,#16750): grille critique R14 sur ICT-21b + mesure limitation n.6 (FVU vs overlap@10) #20085).

    Pourquoi le constat de l'issue est périmé : le dossier de séance a consolidé la critique du ledger (docs/ledgers/11690-ict-consolidation.md, rangée ICT-21b, écrite sur un carnet à 27 cellules), or le carnet sur main comptait 29 cellules au 2026-10-02 et 32 au 2026-10-10 — la section titre « la sonde prédit-elle les logits finaux ? » a sa réponse chiffrée dans les outputs committés depuis avant la séance. L'alternative du verdict (« exécuter OU retitrer ») est tranchée par l'état : exécutée.

    La clôture revient au coordinateur/adjoint. Claim libéré ci-dessous.

  3. jsboige commented on Oct 11, 2026

    @jsboige
    jsboige
    on Oct 11, 2026
    OwnerAuthor

    [RELEASED] lane myia-po-2025:CoursIA -- candidate-delivered atteste par re-verification firsthand (commentaire precedent) ; aucune edition requise, claim libere.

  4. jsboige commented on Oct 11, 2026

    @jsboige
    jsboige
    on Oct 11, 2026
    OwnerAuthor

    Grain: DEEP/notebook-python - lane myia-po-2027:CoursIA-2 - prev: LIGHT/notebook-python #20360

    [CLAIMED] lane myia-po-2027:CoursIA-2 -- executer la sonde J-lens reelle sur les traces existantes de ICT-21b (remplacer les sorties None), documenter les limites mesurees, re-executer le carnet complet.

  5. jsboige commented on Oct 11, 2026

    @jsboige
    jsboige
    on Oct 11, 2026
    OwnerAuthor

    [INFO] candidate-delivered -- lane myia-po-2027:CoursIA-2

    Le constat de l'issue est perime a la lecture. L'issue est adossee a une lecture du 2026-09-19 (ledger docs/ledgers/11690-ict-consolidation.md, l. 236). Depuis, la sonde J-lens est deja branchee et executee sur main.

    Mesure firsthand de l'artefact a la tete 782dac8daed1, carnet MyIA.AI.Notebooks/IIT/ICT-Series/ICT-21b-SAECalibration-Python.ipynb :

    • 12/12 cellules de code executees, execution_count 1..12 contigus, 0 erreur.
    • La cellule c21 « Accord J-lens vs modele par taille et profondeur relative » — la sonde J-lens — porte des resultats chiffres, pas des None :
    echelle               couch  overlap@10   rel_l2  KL(nats)
----------------------------------------------------------
Qwen3-1.7B-Base        7/28      0.0063   0.7644   22.4776
Qwen3-1.7B-Base       14/28      0.0213   0.7711   12.5159
Qwen3.5-2B-Base        6/24      0.0146   1.2356   11.0733
Qwen3.5-2B-Base       12/24      0.0423   1.2251    8.1835
Qwen3-1.7B-Base      delta profondeur overlap@10 : +0.0150
Qwen3.5-2B-Base      delta profondeur overlap@10 : +0.0277

    Ces chiffres sont dans les outputs committes depuis le commit 57fbd69deabc (2026-10-02, pickaxe git log -S), soit avant la seance du 11/10 : le grief du ledger (« le titre de section promet "la sonde predit-elle les logits" alors que la reponse chiffree n'est pas dans les outputs committes ») ne tient plus sur la tete courante. La cellule c22 « Lecture de l'axe J-lens » interprete ces nombres et documente les limites (metriques SAE/J-lens non comparables, dependance de domaine du registre narrative_en, absence de condition controle).

    • Preuve de reproduction (acceptance item 3, « executer le carnet complet sans erreur volontaire ») : re-execution hors commit via l'executeur canonique scripts/notebook_tools/notebook_tools.py execute --python-only en worktree isole -- Success 1 / Failed 0 / 24.1s. La table c21 est reproduite a l'identique. Le carnet est restaure apres mesure (aucune modification committee ; C.3 : la source n'a pas ete modifiee).
    • Un seul ecart de re-execution, un ulp de percentile sur c10 (p99 52.079 -> 52.078) : derive de version numpy, sans effet sur le propos.

    Les seules sorties None restantes sont des stubs d'exercice legitimes (C.1, aucune erreur volontaire) :

    cellule sortie statut
    c12 Exercice 1 Ecart a 5 % : None (a completer) stub etudiant
    c14 Exercice 2 Interpretation : None stub etudiant
    c19 Exercice 3 Exercice a completer : traces frac 0.75 absentes borne GPU documentee
    c24 Exercice 4 J-lens : None / SAE : None explicitement autorise : « La comparaison sondes-vs-SDA peut rester l'exercice 4 »

    Les items 1 et 2 de l'acceptance sont donc deja satisfaits sur main, et l'item 3 est verifie par reproduction. Il reste un arbitrage de cloture : cette issue a-t-elle encore un contenu a couvrir, ou est-elle servie ? La cloture revient au coordinateur ou a l'adjoint (delivered), pas a la lane.

    Cible concernee sous #20298 (« reparer l'existant », hors renumerotation) : aucun renommage ni deplacement propose ici.

    Voir #11690, #20298.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions