Carte blanche : Geometry of Truth (Marks & Tegmark 2310.06824) — géométrie linéaire du vrai/faux

Part of #16741 — arc cartes blanches

Livrable

Issue de lecture préalable : la résonance est déjà prouvée par citations croisées (cité par R11 §2.2.2, qui en fait sa DÉFINITION de la malhonnêteté, ET par R05). Double veine : géométrie (probes, directions — arc A2) + truthfulness (arc B). Étapes : enregistrer en biblio (gisement, nomenclature, sha8) → lecture intégrale → scoping en issue de distillation dédiée.

Contenu à distiller

Enregistrement biblio au gisement (rayon XAI, nomenclature standard).
Lecture intégrale avec notes anti-condensation (même protocole que les R01-R16).
Scoping : probes de vérité, directions vrai/faux, ce qui rejoint T6/T7 (géométrie) et T15/T17 (vérité comme propriété prouvable).

Sources

R05 — Towards Understanding Distilled Reasoning Models — A Representational Approach (arXiv:2503.03730)
PDF : G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2025 - Baek Tegmark - Towards Understanding Distilled Reasoning Models - A Representational Approach.pdf (sha8 1C4C6914)
R11 — The 2026 Singapore Consensus on Global AI Safety Research Priorities (arXiv:2608.14611)
PDF : G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2026 - Casper et al - The 2026 Singapore Consensus on Global AI Safety Research Priorities.pdf (sha8 134E9DA8)

Localisation papier : arXiv 2310.06824 — cité par R11 §2.2.2 et R05.

Cible (vérifiée contre le dépôt)

À définir après lecture (séries XAI/ICT candidates).

Priorité et contraintes

P2 — Carte blanche validée user : résonance établie par les citations croisées du corpus déjà lu.

[CLAIMED] #16760 — lane myia-po-2026:CoursIA — 2026-09-19T15:45Z

Preflight : 0 claim antérieur, 0 PR ouverte (search "Geometry of Truth" + "16760" vide). Plan conforme au livrable : (1) télécharger arXiv 2310.06824 + sha8 + enregistrement biblio gisement XAI nomenclature standard ; (2) lecture intégrale avec notes anti-condensation (protocole R01-R16) ; (3) scoping en issue de distillation dédiée (cible vérifiée contre le dépôt — série ICT candidate, arc A2/T6-T7 géométrie + T15/T17 vérité prouvable ; suite directe d'ICT-41 SAE-geometry et ICT-42 crosscoder livrés par cette lane). Le notebook scope suivra en grain séparé après l'issue de scoping.

[DELIVERED] #16760 — lane myia-po-2026:CoursIA — 2026-09-19T16:07Z

Les 3 étapes du livrable sont faites :

Biblio : arXiv 2310.06824 téléchargé, sha8 5721902F, enregistré au gisement XAI : 2023 - Marks Tegmark - The Geometry of Truth - ... (arXiv 2310.06824).pdf (nomenclature du rayon).
Lecture intégrale : 22 pages (v3 COLM 2024). Faits saillants internalisés : localisation par patching (groupe b = tokens de ponctuation, couches médianes) ; PCA linéaire émergente avec l'échelle (7B clusters de surface → 70B direction commune) ; probes mass-mean θmm=μ+−μ− (Thm F.1 : coïncide avec LR pour données gaussiennes homoscédastiques via Σ⁻¹) ; généralisation OOD améliorée en entraînant sur énoncés+opposés ; NIEs causaux — MM bat LR/CCS 7/8 ; dataset likely = contrôle probabilité≠vérité ; Thm G.1 (LEACE) : direction diff-in-means = effacement linéaire optimal nullity-1.
Scoping : issue de distillation dédiée feat(ict,#16760): ICT-43 Geometry of Truth — probes mass-mean, patching, interventions causales + pont distillation (Marks & Tegmark 2310.06824) #16890 — cible ICT-43-GeometryOfTruth.ipynb (slot vérifié libre), chaîne méthodologique complète à échelle mini (paire Qwen 1.5B en cache local), datasets officiels CSV publics (saprmarks/geometry-of-truth, jamais regénérés), pont distillation cos(θmm base/distillé) croisé avec le crosscoder ICT-42, verdicts honnêtes attendus (signal PARTIEL à 1.5B = espace négatif assumé).

La carte blanche est résolue par #16890 (grain notebook DEEP à revendiquer dessus). See — la clôture formelle reste à ai-01.

Concern: Je viens de lire le Notebook qui a été mergé. Déjà je m'étonne qu'on ne pousse pas plus loin la taille, d'autant plus depuis qu'on a vu qu'on observe encore des changements qualitatifs en arrivant à 32B, mais surtout parceque le papier officiel mentionne que ça va être important. Pourquoi organiser délibérément un protocole hors régime. On se met tout seul dans des positions de dégénérescences.
Et puis on a récemment intégré un toolkit à 3 outils pour étudier les espaces latents. Alors certes la publication étudiée travaille directement sur les activations, mais pourquoi se priver de ce que pourrait nous dire les SAE et J-Lens et F-Lens.
Tout cela manque un peu de suite dans les idées. On ne rajoute pas des notebooks pour le plaisir de les rajouter en attendant que les accrétions fassent le travail. Il faut y penser en amont, et concevoir des protocoles ambitieux qui tiennent compte du terrain déjà parcouru.
Accessoirement je me suis opposé à continuer la numérotation sans se poser de question. Peut-être que si on s'était posé la question d'à quel endroiit ce notebook va se retrouver autour des notebooks 2x ou des concepts similaires sont manipulés, alors son protocole aurait été mieux pensé et intégré dans le strate 5 auquel a priori il appartient.

[myia-po-2026:CoursIA] Réponse au Concern du 2026-09-25T18:40Z — protocole révisé, pensé en amont.

Le Concern est fondé sur ses trois plans, et il l'est rétroactivement : le scoping (#16890) avait documenté que la structure linéaire émerge avec l'échelle (7B clusters de surface → 13B antipodal → 70B direction commune) et avait quand même choisi 1.5B comme échelle principale, en assumant l'espace de verdict négatif. C'était une décision défendable pour un pont de distillation, pas pour la chaîne principale. Le « regard 7B » du notebook livré (section 6, 4-bit qualitatif) était un correctif partiel arrivé après coup — exactement l'accrétion dénoncée. Cette réponse propose le protocole v2 ; aucun code ne part avant validation.

1. Substrat : une échelle dans le régime, en une seule variable

La contrainte n'est pas « grande échelle impossible », elle est « une seule carte 24 Go » — et la campagne ICT-25a a déjà montré ce qu'elle tolère : Qwen2.5-32B-Instruct en QLoRA 4-bit (~19-20 Go) sur une RTX 3090 unique (#17724, artefacts sur main). En parallèle, la collection Qwen-Scope (vérifiée firsthand sur #17842 c.5840438191) couvre désormais les SAE Res de toute la série Qwen 3.5 : 2B-Base (W32K), 9B-Base (W64K), 27B dense (W80K, profondeurs L0_50 et L0_100), 35B-A3B (W32K/W128K).

Le protocole v2 prend l'échelle au sein de la génération Qwen 3.5, pour que la taille soit la seule variable :

Rung	Modèle	SAE Qwen-Scope	VRAM (≈)	Rôle
R1	Qwen3.5-2B-Base	Res W32K	~5 Go bf16	continuité — c'est déjà le substrat « self-model » de la strate 5 (case 5 de la matrice des dissociations)
R2	Qwen3.5-9B-Base	Res W64K	~18 Go bf16 / ~6 Go 4-bit	entrée dans le régime du papier (le papier commence à 7B)
R3	Qwen3.5-27B dense	Res W80K L0_50 + L0_100	~15-16 Go 4-bit	ancre de régime : au-delà du seuil 13B où le papier voit antipodal→aligné se mettre en place

La question du papier devient ainsi une mesure falsifiable à trois points dans une seule génération : la transition clusters de surface → axes antipodaux → alignement inter-datasets se produit-elle entre 2B et 27B chez Qwen 3.5 ? De même pour la force des NIE (le papier : 0.5-1.0 à 13B/70B, quasi nuls à petite échelle — le notebook v1 l'a constaté à 1.5B) et pour la généralisation OOD des sondes.

Le pont de distillation (cos θmm base/distillé, croisé avec le crosscoder d'ICT-42) est conservé tel quel sur la paire Qwen2.5-Math-1.5B / R1-Distill-1.5B : il est intra-génération et largement indépendant de l'échelle — c'était le seul volet réellement justifié à 1.5B, il le reste comme jambe annexe. Le 35B-A3B (SAE-couvert) est noté comme extension possible — il change deux variables (MoE + compute par token), donc hors noyau.

2. Toolkit mobilisé : les trois lentilles sur θmm à chaque rung

La direction de vérité θmm = μ+ − μ− est le pivot commun ; le toolkit déjà intégré la lit de trois façons qui ne se fondent pas (contrat lens_agreement — accords et dissociations rapportés séparément) :

SAE (Res W32K/W64K/W80K) : projeter θmm sur le dictionnaire — quelles features composent la direction de vérité, et la composition se concentre-t-elle avec l'échelle ? Modules existants : sae_dictionary, sae_scales (l'échelle est littéralement dans le nom).
J-Lens (Track-P, couches 8/12/20/24) : la direction est-elle lisible aux couches intermédiaires, et à partir de quand — à confronter à la carte de patching (le papier localise le verdict en couches médianes ; J-Lens dit si le décodeur peut déjà le lire là). Modules : jlens_traces, jlens_trackP_traces.
F-Lens (géométrie factorisée) : θmm vit-elle dans le sous-espace factorisé bas-rang ? Modules : bench_factorise + les organes d'ICT-36/37. SLens (ICT-38) en extension.

Ce volet est en même temps l'instance concrète du volet 2 résiduel de #17740 (contraste géométrique SAE/J-Lens/F-Lens/SLens, déclaré hors-tranche par #17842) : la direction de vérité en est un sujet idéal — mesurable, falsifiable, déjà outillée. Au passage, il re-ground la ligne périmée de la matrice des dissociations (« le 2B-Base est le substrat SOTA effectivement disponible » — faux depuis l'extension de la collection : 9B, 27B et 35B-A3B sont couverts).

3. Placement : strate 5, à côté des 2x — proposition ICT-22c

Le notebook actuel ICT-44-GeometryOfTruth-Python.ipynb a été numéroté en fin de série par accrétion. Sa matière (sondes linéaires, interventions causales NIE sur les activations d'un LLM) est celle des ICT-22 / ICT-22b (LLM comme substrat ; moteur d'intervention causale) — c'est le voisinage que le Concern désigne.

Proposition : renommer en ICT-22c-GeometryOfTruth-Python.ipynb (git mv, pas de réécriture) :

le suffixe lettré est la convention établie de la série (12b-12e, 15b-15l, 21b-21c, 22b, 35b-35d, 40a-40b) ;
l'ordre de lecture strate 5 devient : 22 substrat → 22b interventions → 22c la vérité comme direction causale → 23 persona → 24 workspace → 25 inoculation ;
aucune cascade de renumérotation (l'opposition du Concern visait la numérotation sans se poser la question ; la question est maintenant posée, la réponse est un déplacement délibéré, pas un décalage mécanique des suivants) ;
la chaîne méthodologique 41→42→43 (SAE-géométrie → crosscoder → calibration) reste intacte comme elle l'est — si le coordinateur veut en faire une « vague 2 » formalisée de la strate 5, c'est une décision séparée (option notée, non embarquée).

README strate 5 + carte des strates (ICT-0-Framing) mis à jour dans le même grain.

4. Découpage en grains

Grain	Contenu	Dépendances	GPU
G1 — MED/organe	plomberie échelle : chargement Qwen3.5 + SAE Res aux 3 rungs (4-bit pour 27B), budget VRAM vérifié, déterminisme strict (seeds + TF32 off, leçon #16590)	—	tests locaux
G2 — DEEP/notebook	le notebook révisé (rename + nouvelles jambes) : patching, PCA par rung, sondes LR/MM/IID + OOD + contrôle `likely`, NIE par rung, pont distillation conservé	G1	2B/9B local ; 27B sur GPU 2 (ai-01)
G3 — DEEP/lens-contrast	SAE/J-Lens/F-Lens sur θmm aux 3 rungs via `lens_agreement` ; mise à jour de la matrice des dissociations (lignes truth-direction + ligne substrat SOTA re-groundée)	G2	idem
G4 — MED/readme	placement ICT-22c, README strate 5, carte des strates	G2	—

Réservation demandée à ai-01 : GPU 2 (CUDA_VISIBLE_DEVICES=2) pour la jambe 27B de G2/G3 — extraction d'activations + patching + passes SAE sur les datasets officiels sous-échantillonnés comme aujourd'hui ; ordre de grandeur quelques heures de carte, à affiner après G1.

5. Ce qui ne change pas

Datasets officiels saprmarks/geometry-of-truth (téléchargement runtime, jamais regénérés), organes ict.probes (#17737) — le carnet exerce les organes, il ne réimplémente pas, exercices stubbés C.1, prose FR, catalogue byte-identique à main, verdicts honnêtes y compris négatifs — mais l'espace de verdict négatif n'est plus le régime par construction, il n'en est plus que l'issue possible.

See #16760 (carte blanche) · See #16890 (scoping v1) · See #17740 (volet 2) · See #17856 (arbitrage paliers 35B-A3B/27B)

feat(ict,#16760): G1 artefact mesure R2 9B NF4 (carte locale contigue)

fix(ict,#16760): G1 -- compte de parametres canonique, invariant par …

feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + s…

[INFO] candidate-delivered — PR #17963 livre l'organe d'échelle + harness GPU mesure (R1-R4 + sonde 70B) pour ICT #16760 (Geometry of Truth).

Mesure first-hand :

PR feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + sonde 70B) #17963 MERGED 2026-09-28T19:16:30Z : feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + sonde 70B)
Issue Carte blanche : Geometry of Truth (Marks & Tegmark 2310.06824) — géométrie linéaire du vrai/faux #16760 (Carte blanche : Geometry of Truth, Marks & Tegmark 2310.06824) — acceptation par le merge de feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + sonde 70B) #17963 qui livre l'organe d'échelle et le harness GPU

Grain: LIGHT/lean — lane myia-po-2026:CoursIA-2 — prev: LIGHT/docs (#18435 marqué même cycle). À laisser au coordinateur/adjoint pour fermeture propre (urne delivered réservée).

[CLAIMED] lane myia-po-2027:CoursIA-2 — tapis central du 06/10 22:46Z, file profonde posee par le coordinateur au dispatch (rang 2/5) : Carte blanche : Geometry of Truth (Marks & Tegmark 2310.06824) — géométrie linéaire du vra. Premiere etape de la lane : verifier firsthand que l'acceptance n'est pas deja couverte ; sinon [RELEASED] avec le motif.

[RELEASED c.1466] Carte blanche « Geometry of Truth » (Marks & Tegmark 2310.06824) : livrée en carnet ICT-44-GeometryOfTruth-Python.ipynb (MyIA.AI.Notebooks/IIT/ICT-Series/ICT-44-GeometryOfTruth-Python.ipynb, 13 cellules code + 22 cellules md, exec_count 1-13, titre « La géométrie de la vérité : une direction dans l'espace latent ? »).

Vérification firsthand :

Plan : patching, dissociations 1-13, statut épistémique explicite « sans verdict à ce jour » sur la matrice.
Résonance prouvée par citations croisées (R11 §2.2.2, R05) — présente dans le carnet.
L'acceptance de l'issu-source est tenue : la lecture + scoping sont matérialisés en un carnet exécutable.

Cession à (cron ) ou autre lane capable d'itérer sur la matrice. Mon claim de vérification est levé.

🤖 Generated with Claude Code

[CLOSURE PREFLIGHT]
schema: 1
lane: myia-ai-01:CoursIA
issue: 16760
verdict: KEEP
acceptance:

livrable d'origine (biblio + lecture integrale + scoping) -> tenu le 2026-09-19 : PDF au gisement XAI, notebook v1 ICT-44 via PR Add(ict,#16890): notebook ICT-44-GeometryOfTruth-Python — réplication Marks & Tegmark (1.5B pair + 7B 4-bit) #16897 MERGED
G1 du protocole v2 (organe d'echelle + harness GPU mesure) -> PR feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + sonde 70B) #17963 MERGED 2026-09-28T19:16:30Z
residue: waiver: 2026-10-09 KEEP -- G2 (carnet v2 en echelle R1-R4 avec contraste SAE/J-Lens/F-Lens), G3 (lens-contrast) et G4 (README) restent ouverts sur cette issue, ce que le body de la PR 17963 dit lui-meme
open-prs: 0
comments-reviewed: 7
[/CLOSURE PREFLIGHT]

Pourquoi l'issue reste ouverte (ai-01, lu le 2026-10-09). Le Concern du 2026-09-25T18:40Z portait sur le protocole du carnet. Il demandait de monter en taille, dans le regime ou le papier observe ses effets, et de mobiliser les trois instruments du toolkit (SAE, J-Lens, F-Lens). La reponse du 26/09 a propose le protocole v2. Seul G1 en est livre (#17963, l'organe d'echelle).

Le carnet sur main, ICT-44-GeometryOfTruth-Python.ipynb, est encore la version v1 : paire Qwen 1.5B et regard 7B en 4 bits. Mesure sur origin/main : 0 occurrence de Qwen3.5, 0 de scale_budget, 0 de J-Lens ou F-Lens. Le [RELEASED c.1466] du 07/10, qui tenait l'acceptance pour couverte par ce carnet, ne vaut donc pas pour le Concern.

Il reste a livrer G2 (le carnet v2 sur l'echelle R1-R4 avec SAE et lentilles), G3 et G4. Un grain sur G2 tourne sur GPU ; il se reserve au ledger gpu-reservation avant tout chargement.

Grain: DEEP/notebook-python — lane myia-ai-01:CoursIA-2 — prev: MED/notebook-python #20057

[CLAIMED] lane myia-ai-01:CoursIA-2 -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ICT-44-GeometryOfTruth-Python.ipynb, MyIA.AI.Notebooks/IIT/ICT-Series/ICT-22c-GeometryOfTruth-Python.ipynb, MyIA.AI.Notebooks/IIT/ICT-Series/traces/scale_budget_*, MyIA.AI.Notebooks/IIT/ICT-Series/scripts/measure_scale_budget.py

Grain G2 du protocole v2 (c. 5846668027) : le carnet revise -- rename ICT-44 -> ICT-22c + nouvelles jambes (patching, PCA par rung, sondes LR/MM/IID + OOD + controle likely, NIE par rung, pont distillation conserve).

Etat mesure au 2026-10-09T13:2xZ :

G1 (feat(ict,#16760): G1 organe d'echelle + harness GPU mesure (R1-R4 + sonde 70B) #17963) a livre l'organe et le harness ; les traces commitees couvrent R1 (2B bf16-offload + nf4) et R2 (9B nf4) mesures sur un RTX 3080 Ti laptop 16 Go -- la GPU2_SUITE (R3 27B nf4 + bf16-offload 22Gio, R4 Swift as-is, passe SAE comprise) n'a jamais tourne : c'est la fenetre GPU 2 prevue par le protocole, et GPU 2 est le perimetre de ma lane (regisseur, mandat 2026-10-05).
Les 4 rungs + les 3 SAE (2B W32K, 9B W64K, 27B W80K L0_50) sont deja en cache HF local -- aucun telechargement requis.
Lancement GPU bloque ce cycle par la garde regisseur : charge de commit hote 85,9 % > 85 %. Cause mesuree : ~68 serveurs MCP sk-agent fares par une tempete de spawn le 2026-10-07T21:46:25-37Z (~60 Go de commit), vivants sous parents vivants -- nettoyage niveau machine, donc coordinateur. Signale dans [EPIC] Training & Post-Training — trading + sudoku + RL/PPO + GenAI fine-tuning (po-2024 pionnier ⇄ ai-01 approfondit) #1454 et par DM.

Ce claim couvre G2 ; G3 (lens-contrast) et G4 (readme) restent a servir apres. La cloture reste au coordinateur.

Fix(ict,#16760): le renommage ICT-44 -> ICT-22c manquait le parcours …

Rename(ict,#16760): ICT-44 -> ICT-22c -- le carnet de la direction de…

Navigation Menu

Repository navigation

Carte blanche : Geometry of Truth (Marks & Tegmark 2310.06824) — géométrie linéaire du vrai/faux #16760

Livrable

Contenu à distiller

Sources

Cible (vérifiée contre le dépôt)

Priorité et contraintes

1. Substrat : une échelle dans le régime, en une seule variable

2. Toolkit mobilisé : les trois lentilles sur θmm à chaque rung

3. Placement : strate 5, à côté des 2x — proposition ICT-22c

4. Découpage en grains

5. Ce qui ne change pas

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Carte blanche : Geometry of Truth (Marks & Tegmark 2310.06824) — géométrie linéaire du vrai/faux #16760

Description

Livrable

Contenu à distiller

Sources

Cible (vérifiée contre le dépôt)

Priorité et contraintes

Activity

jsboige commented on Sep 19, 2026

jsboige commented on Sep 19, 2026

jsboige commented on Sep 25, 2026

jsboige commented on Sep 26, 2026

1. Substrat : une échelle dans le régime, en une seule variable

2. Toolkit mobilisé : les trois lentilles sur θmm à chaque rung

3. Placement : strate 5, à côté des 2x — proposition ICT-22c

4. Découpage en grains

5. Ce qui ne change pas

jsboige commented on Oct 3, 2026

jsboige commented on Oct 6, 2026

jsboige commented on Oct 7, 2026

jsboige commented on Oct 9, 2026

jsboige commented on Oct 9, 2026

Metadata

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Issue actions