Skip to content

ICT toolkit : pilote causal de triangulation SAE–J-Lens–F-Lens #15480

Description

@jsboige

But

Rendre le premier verdict causal multi-instrument sur un banc où l’état latent et ses facteurs sont connus, plutôt que commencer sur un LLM opaque.

Banc

Processus synthétique factorisé Mess3 × RRXOR ou deux Mess3 indépendants, petit transformer hookable, belief states exacts, protocole vary-one et ≥4 seeds.

Avant intervention

  • SAE : dictionnaire sparse adapté au petit modèle ; sparsité, FVU et sélectivité aux facteurs.
  • J-Lens : readout local documenté ; logits complets ou top-k avec sémantique explicite.
  • F-Lens belief : R²/RMSE held-out.
  • F-Lens factor : NC@95, additivité, angles et overlap.

Intervention

Sélectionner une feature SAE et une direction/sous-espace F-Lens associés au facteur A ; clamp/ablate à plusieurs doses avec sham et cibles aléatoires appariées. Mesurer simultanément ΔSAE, ΔJ-Lens, Δbelief, déplacement géométrique et Δsortie.

Hypothèses pré-enregistrées

  • H1 : l’ablation ciblée dégrade davantage le décodage du facteur A que celui de B et que le contrôle aléatoire.
  • H2 : l’effet J-Lens apparaît aux couches/positions où F-Lens localise l’état, sans exiger une forte corrélation observationnelle globale.
  • H3 : le comportement lié à A se dégrade sélectivement tandis que B et la perplexité générale restent relativement préservés.
  • H4 : les features associées à A et B montrent une séparation géométrique supérieure à des partitions aléatoires ; l’échec réfute cette lecture sans invalider le SAE.

Livrables

  • protocole et configuration gelés ;
  • artefacts rejouables conformes au trace contract ;
  • tests analytiques CPU ;
  • notebook Causal Triangulation en français, exécuté avec outputs réels et ≥3 exercices ;
  • verdict par hypothèse avec taille d’effet, IC et correction multiple.

Acceptance

  • ≥4 seeds, split probe gelé, nulls et doses pré-enregistrés.
  • Chaque H1–H4 reçoit SUPPORTED / NOT_SUPPORTED / INCONCLUSIVE.
  • La chaîne intervention → changement d’état → changement comportemental sélectif est testée, pas seulement racontée.
  • Accord et dissociation entre instruments sont reportés séparément, sans score omnibus.
  • Le notebook consomme les primitives testées du toolkit et s’exécute end-to-end avec outputs réels.

Part of #15475. Depends on #15476, #15477, #15478 and #15479. See #8236 and #5635.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions