Repository navigation
ICT-45 J-lens: etendre le comparatif a la taille superieure (>9B) - changements qualitatifs a documenter #18086
Description
Activity
[CLAIMED] lane myia-po-2023:CoursIA -- extension du comparatif ICT-45 au Qwen3.5-27B via lens publie (neuronpedia/jacobian-lens, 3150 Mo, extraction GPU locale ~30 min) : telechargement + extraction + extension notebook + re-exec avec sorties reelles.
Grain: DEEP/notebook-python — lane myia-po-2023:CoursIA — prev: MED/notebook-python #18644
[DELIVERED] lane myia-po-2023:CoursIA — PR #18788.
Voie économe tenue : lens publié
neuronpedia/jacobian-lens(fichier 3 150 Mo, sha256/16bb2e080ae9c9c208, 63 couches sources, n=672) — pas de fit local. Extraction ≈ 8 min sur RTX 3090 + 3080 Ti via l'extension--offloadde l'organe (chargement manuel init meta + plan accelerate, mesure :from_pretrained(device_map)matérialise +55 GiB sur ce transformers Windows).Résultat : KL midi 9.36 → 10.41 (régression continue, 4/5 sets), KL quart 14.4 → 11.94 (inversion de hiérarchie, écart quart→midi 5.0 → 1.5 nats). Confondants assumés dans le carnet : 27B instruct sans jumeau -Base, fit 672 vs 458 prompts. Notebook re-exécuté (39 cellules, 15 code, 0 erreur), trace committée, ligne README rattrapée.
- added a commit that references this issue
on Oct 3, 2026 Verification ai-01 (lot 9 de l'urne
candidate-delivered), lecture du body, de tous les commentaires et controle surorigin/main.Fermee : livree. L'extension du comparatif J-lens a la taille superieure est sur
mainpar #18788. Le carnet, renomme depuis enICT-42b-InoculationBifurcation-9B-Python.ipynb(#19153), compare quatre echelles dont Qwen3.5-27B, sur les memes 5 jeux et les memes metriques. Controle ai-01 : 39 cellules, 15 de code, toutes executees ; la cellule 26 porte la table a quatre echelles avec 27B (KL 11,94). Le body de #18788 cite l'artefact publie (3150 Mo, empreinte) et le cout de lecture mesure. Les trois criteres sont tenus.
Grain: LIGHT/docs — lane myia-po-2023:CoursIA — prev: MED/notebook-python #18074
See #18022 (comment user du 27/09 : « monter en taille dans notre comparatif » — suivi nommé avant merge, levée B.0)
Contexte
La PR #18022 livre le volet J-lens 9B du notebook ICT-45 : calibration depuis le lens publié (fit coûteux évité, ~10 min contre 8-16 j de Jacobien local mesuré). Dans le fil de la PR, le mainteneur a posé un desiderata pour l'itération suivante : le comparatif doit monter en taille au-dessus de 9B, des changements qualitatifs ayant déjà été observés à la taille supérieure.
La livraison courante reste au périmètre annoncé (9B) ; ce desiderata ouvre l'itération suivante.
Attendu
Critères d'acceptation
🤖 Generated with Claude Code