feat(ict,#16760): ICT-43 Geometry of Truth — probes mass-mean, patching, interventions causales + pont distillation (Marks & Tegmark 2310.06824) #16890

Scoping de la carte blanche #16760 (Epic #16741, arc A2 géométrie + pont B truthfulness)

Distillation de Marks & Tegmark, « The Geometry of Truth » (COLM 2024, arXiv 2310.06824, sha8 5721902F) — enregistré au gisement : G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2023 - Marks Tegmark - The Geometry of Truth - ... (arXiv 2310.06824).pdf. Lecture intégrale faite (22 p., notes internes). Résonance : cité par R05 §2 (croise notre crosscoder ICT-42) ET par R11 §2.2.2 (définition de la malhonnêteté = connaître le vrai, affirmer le faux — la sonde est le candidat détecteur).

Cible (vérifiée contre le dépôt)

MyIA.AI.Notebooks/IIT/ICT-Series/ICT-43-GeometryOfTruth.ipynb (slot libre ; suite ICT-41 #16747/#16859 SAE-géométrie et ICT-42 #16749/#16887 crosscoder). Kernel coursia-ml-training. Prose FR, énoncés datasets EN d'origine (modèles EN).

Contenu à distiller — la chaîne méthodologique complète du papier, à échelle mini

1. Localisation par patching (papier §3, Fig 2) : prompt few-shot « This statement is: TRUE/FALSE », patch activation-par-activation, carte Δlog P(TRUE)−log P(FALSE). Le papier y localise le groupe (b) : tokens de fin d'énoncé/ponctuation, couches médianes.
2. PCA des représentations (§4, Fig 1/3) : séparation linéaire vrai/faux dans les top-2 PC ; l'alignement entre datasets (commun/antipodal/orthogonal) et son évolution par couche (Fig 8 : antipodal → orthogonal → aligné).
3. Probes (§5) : LR vs mass-mean θmm = μ+ − μ− (et sa variante IID σ(θmmᵀΣ⁻¹x) = LDA, Thm F.1) ; généralisation OOD (train cities+neg_cities / larger_than+smaller_than, test sp_en_trans et le reste) ; le dataset likely comme contrôle probabilité≠vérité.
4. Interventions causales (§6, Table 2) : shift des activations du groupe (b) le long de θ (normalisé p(μ−+θ)=p(μ+)), NIEs false→true / true→false — MM bat LR/CCS 7/8.
5. Pont distillation (valeur ajoutée propre, non dans le papier) : la paire Qwen2.5-Math-1.5B / R1-Distill-Qwen-1.5B déjà en cache local (D:/hf-cache-crosscoder) — la direction θmm existe-t-elle dans les DEUX ? cos(θmm_base, θmm_distillé) par couche ; croisé avec les features distilled-only du crosscoder ICT-42 (la vérité survit-elle à la distillation ?).

Datasets (réels, publics — jamais regénérés en jouet)

Dépôt officiel github.com/saprmarks/geometry-of-truth/datasets/*.csv : cities (1496), neg_cities, sp_en_trans (354), neg_sp_en_trans, larger_than/smaller_than (1980), conj/disj, companies (1200), common_claim (4450), counterfact (31960), likely (10000). Téléchargement au runtime (raw.githubusercontent) avec sous-échantillonnage borné pour les 31 960 counterfact. Attributions : Geonames (CC-BY), Azaria & Mitchell, Casper et al., Meng et al. (ROME) — citer dans le notebook.

Échelle mini — verdicts honnêtes attendus (leçons ICT-41/42)

• Le papier montre la structure linéaire ÉMERGER AVEC L'ÉCHELLE (7B : clusters de surface « eighty » ; 13B : antipodal ; 70B : direction commune). À 1.5B, attendre un signal PARTIEL : PCA possiblement dominée par des features de surface, généralisation OOD faible. C'est l'espace de verdict NEGATIF honnête assumé (comme le parallelogram non-reproduit d'ICT-42) — le notebook documente CE QUE 1.5B FAIT, pas ce que 70B fait.
• Le pont distillation est le résultat potentiellement le plus riche à mini-échelle (indépendant de l'échelle 70B du papier).
• Déterminisme strict obligatoire (leçon ICT-42 Sweep: cellules « Lire la sortie d'un exercice non rempli » — genre vide + divulgation (9 cellules, 3 notebooks) #16590) : seeds + TF32 off + re-exécutions reproductibles ; durées citées « ≈N min ».

Périmètre

• 1 notebook + 1 ligne README ICT-Series (table existante). Catalogue byte-identique à main (cron s'occupe de l'entrée).
• ≥3 exercices stubbés C.1 (ex : implémenter la variante IID du probe mass-mean ; construire un dataset conj FR ; mesurer cos(θmm) sur une couche choisie).
• Aucun href vers un notebook d'une PR non mergée (leçon feat(iit,#16749): ICT-42 crosscoder distillation — R05 Baek-Tegmark mini-scale #16887) — réf. issue/PR texte.

Risques bornés

• Vérifier les licenses à l'usage (CSVs données de recherche publiques ; citer sources) ; ne rien committer du dépôt externe (téléchargement runtime + cache).
• VRAM : deux 1.5B séquentiels en bf16 = déjà éprouvé en ICT-42 (pic ~3,7 GiB).
• Si la généralisation OOD est au niveau du hasard partout (base 1.5B trop petite), le documenter comme verdict — pas de contrefaçon d'échelle.

See #16760 (carte blanche : biblio + lecture + scoping — les 3 étapes livrées par cette issue) · Part of #16741. Grain DEEP/notebook-interp à revendiquer en commentaire.