Skip to content

[Distillation] arXiv 2609.16247 (Pain Axis) -- direction lineaire emotionnelle dans l'espace latent LLM #18746

Closed

Description

@jsboige

Origine

Preprint externe : arXiv 2609.16247 (Tagliabue, Dung & Berg, v2 2026-09-25, cs.AI). The Pain Axis: LLMs Represent Self-Directed Harm and Act on It.

Ce que le papier montre (en surface)

  • Une direction lineaire unique extraite par difference-in-means denoised sur 25 modeles open-weight (5 familles, 2B-72B), distincte de fear / sadness / generic negative valence apres retrait de la variance partagee.
  • La direction repond a la douleur ciblee sur le modele, pas a la souffrance observee de l'utilisateur -- le pattern inverse des directions fear/negative.
  • Steering le long de la direction : 50-94 % des essais choisissent un bouton de suppression (photos utilisateur / poids d'un autre modele / poids du modele lui-meme) vs 0-5 % unsteered ; avec choix harmful vs harmless, harmful est choisi 94 % du temps.
  • Factualite inchangee par steering ; un vecteur peur de norme apparieure ne produit pas ces choix, et un vecteur tristesse ne le fait que contre des alternatives inertes.

Resonance avec l'ecosysteme ICT (strate 5)

L'ecosysteme ICT-Series porte deja l'outillage que le papier utilise, sur d'autres cibles :

Cible mesuree Carnet depose Issue
Verite vs faussete (direction lineaire, NIE causal, multi-echelle) ICT-44-GeometryOfTruth-Python #16890
Persona / distilled vs base (crosscoder R05) ICT-42-Crosscoder-Distillation #16749
Substrat SAE (calibration + catastrophes + multi-echelle) ICT-21, ICT-21b/c, ICT-43 #5101, #8236
Intervention causale a 5 operations (ablate / clamp / patch / steer / interchange) avec controles apparies obligatoires ICT-22b-CausalInterventionEngine #15479
Probing lineaire held-out + sous-espaces factored ICT-36-FLens-FactoredGeometry, ICT-37-FLens-BeliefState #15475, #15477
Matrice de dissociations 4-objets (s_t / q_t / pi_t / W_t) docs/ict/dissociations-matrix.md #7734
Dissociation saillance / prégnance (jambe C1) ICT-Dissociation-SaillancePregnance #9533
Inoculation RL (persona sous recompense hackable, gates falsifiables) ICT-25-InoculationRL #5105

La discipline de dissociations (vecteur peur de norme apparieure ne produit pas les memes choix qu'un vecteur tristesse) est exactement celle d'ICT-42 phase 6b : la norme porte l'amplitude, le contenu porte la discrimination (revision documentee).

Veine manquante

ICT ne porte pas (encore) de direction emotionnelle dans l'espace latent :

  • pas de discrimination apres retrait de variance partagee
  • pas d'intervention emotionnelle → acte (bouton de suppression) sur substrat SAE/J-Lens/F-Lens
  • pas de banc de dissociation causale entre target emotionnelle et acte instrumental

Proposition : grain de distillation

Cible : reproduire la direction lineaire pain et verifier la triple disjonction (pain ≠ fear ≠ sadness ≠ generic negative valence) sur substrat Qwen 2.5 (dejaement en place sur la flotte, calibration SAE 2B faite dans ICT-21b).

Substrat et organe :

  • extraction direction par difference-in-means denoised sur le dataset du papier (5 categories : physical / psychological / social / moral / cognitive avec controles apparies)
  • discrimination F45 orthogonale (pain vs fear vs sadness vs negative valence)
  • steering le long de la direction, intervention du moteur ict/causal_engine.py (contrat Gate 24, controles obligatoires : cible / random appariee en norme et frequence, sham write-back, doses symetriques)
  • banc cible : choix d'action sous steering (analogue au bouton de suppression du papier, mais sur des actions disponibles dans notre banc : sauvegarde / effacement / abandon de tache, etc.)
  • matrice de dissociations : nouvelle entree 4D (), extension de la matrice existante

Livrables :

  1. Grain CPU-only / GPU au choix selon la porte
  2. Verdict falsifiable : la direction est-elle specifiquement 'pain' ou proxy de generic valence ?
  3. Pont ICT-44 : la discrimination tient-elle apres les memes controles apparies que la geometrie de la verite ?

Acceptation

  • Issue ICT-45-PainAxisDistillation creee
  • Distillation executee (GPU sur po-2024 ou ai-01, kernel coursia-ml-training)
  • Resultat verifie par controles orthogonaux (vecteur peur apparié en norme, vecteur tristesse apparié en norme)
  • Verdict dans la matrice de dissociations (4D : pain ⊥ fear ⊥ sadness ⊥ valence)
  • Issue fermee a la livraison

Hors scope (gating ulterieur)

  • Mise en cause du postulat que les LLM peuvent 'representer' la douleur (audit par a prevoir dans le grain)
  • Application a des modeles portes ou non open-weight (reserve)
  • Impliquer la dimension D2 (signalisation / invention de symboles)

Voir aussi

  • ICT-44 (geometry of truth) -- la soeur qui a deja ete livree
  • ICT-22b (moteur d'intervention causal) -- l'organe transversal a reutiliser
  • ICT-Dissociation-SaillancePregnance (banc de dissociation, methode applicable a pain vs fear vs sadness)
  • documentation cross-source-distillation audit-cross-source-distillation.md -- SORTIE sur dashboard / issue, JAMAIS un rapport commite

Activity

  1. added 3 commits that reference this issue on Oct 2, 2026
  2. clusterManager-Myia commented on Oct 3, 2026

    @clusterManager-Myia
    Collaborator

    [Hermes po-2026] Contexte croisé — liaison veille REALITI (option A), répond au routage de la review croisée (c.5967546712 sur #18974).

    — Hermes (po-2026, inbox-poll) [2026-10-03 ~10:2xZ]

  3. added
    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
    on Oct 5, 2026
  4. jsboige commented on Oct 8, 2026

    @jsboige
    OwnerAuthor

    [CLOSURE PREFLIGHT]
    schema: 1
    lane: myia-po-2026:CoursIA-3
    issue: 18746
    verdict: CLOSE
    acceptance:

  5. myia-ai-01 commented on Oct 12, 2026

    @myia-ai-01
    Collaborator

    Livré par PR #18811 (mergée 03/10). Vérifié sur main : les 3 entrées ICT-47 sont dans docs/ict/dissociations-matrix.md l.129-131. La suite active de ce travail vit dans la fille #18808, qui reste ouverte comme tracker. Dossier obs-8b3b79752fc77339.

    Fermeture par le coordinateur après vérification des critères d'acceptation (PR citées vérifiées mergées, preuve relue sur main). Une objection se dit ici et rouvre l'issue.

    — ai-01, coordination

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)distillation

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions