feat(genai,#16755): notebook 22b - profil cognitif CHC d'un LLM (Hendrycks 2025)

[jsboige]

Grain: DEEP/genai — lane myia-po-2025:CoursIA — prev: MED/notebook-python #17383

See #16755 (part of #16741, arc B)

Ce que la PR ajoute

Un nouveau notebook MyIA.AI.Notebooks/GenAI/Texte/22b_Profil_Cognitif_CHC.ipynb (47 cellules, 19 de code, exécuté de bout en bout), plus sa ligne dans le README de la série.

Argument pédagogique de la lettre 22b (règle d'accrétion) : le notebook 22 évalue ce qu'un modèle écrit (BLEU, ROUGE, juge LLM) ; le 22b évalue le générateur lui-même, par son profil de capacités. Il approfondit le palier 22 sans prolonger le survol : on peut sauter le 22b et suivre le parcours canonique 22 → 23.

Contenu, dans l'ordre de l'issue :

Acceptance #16755	Où dans le notebook
Mini-batterie CHC : WM textuelle, fluence, déduction, pièges anti-hallucination (Napoléon/Churchill de R13 + piège construit sur notre corpus), latence comme Speed	§3-§4 : 54 items à correction mécanique, 8 domaines (K, RW, M, R, S, WM générée par Python avec réponse calculée, MR avec fluence validée par lexique nltk, MS en session neuve)
Profil radar jagged vs GPT-4 27 % / GPT-5 57 %	§5 : radar de nos quatre modèles à côté du radar de la Table 1 de R13 (p. 3), avec intervalle de confiance bootstrap par domaine
Le score agrégé trompe (MS = 0)	§5 : moyenne, moyenne sans MS, minimum et moyenne géométrique ; deux profils fictifs de même moyenne
Contortions de capacité + méta-exemple MEMORY.md	§7 : carnet de mémoire réinjecté (10/100/400 notes, rappel ponctuel + agrégation, coût en jetons et en latence) ; RAG sur la vraie ligne du README contre le piège METEOR ; méta-exemple de nos propres agents
Types d'IA Pandemic → Replacement	§8 : tableau des sept types de R13 (p. 15-16)
Cube A×G×I + exercice de placement	§8 : cube de R11 (fig. 2, p. 34) avec AlphaFold, tondeuse, voiture autonome ; exercice 3 (§9) = placer ChatGPT et notre flotte
Lexique perte de contrôle	§8 : précurseurs mesurables, goal-oriented invasive species in cyberspace, gradual disempowerment (R11 §1.4, p. 24-25)

La section 6 rejoue la batterie entière sur les modèles d'API pour mesurer la stabilité à T=0.

Trois exercices en §9 (C.1 : stubs None # TODO etudiant / print("Exercice ... a completer"), aucune erreur volontaire) : rotation de liste dans le générateur WM, reformulation d'items (sensibilité au prompt), placement sur le cube.

Résultats mesurés (run du 2026-09-22)

Domaine	Qwen3.5-0.8B (local)	gpt-4.1-nano	qwen3.6-flash	gpt-4.1-mini	GPT-5 (R13)
K	0.83	1.00	1.00	1.00	0.9
RW	0.40	0.80	1.00	1.00	1.0
M	0.83	1.00	1.00	1.00	1.0
R	0.60	0.80	1.00	0.80	0.7
WM	0.21	0.53	0.53	0.68	0.4
MS	0.00	0.00	0.00	0.00	0.0
MR	0.00	0.80	0.90	0.80	0.4
S	0.75	0.75	1.00	1.00	0.3

Les plafonds disent que nos items sont faciles, pas que ces modèles égalent GPT-5 : le notebook le dit explicitement et compare les formes, pas les rayons.

Ce que la mesure montre, et que les lectures du notebook développent :

• le motif de R13 se reproduit : MS = 0 pour les quatre modèles (IC [0.00-0.00]), WM second creux, K et M au plafond ;
• le score agrégé trompe, chiffres à l'appui : la moyenne met qwen3.6-flash premier (0,803 contre 0,786), le compte d'items met gpt-4.1-mini premier (42 contre 41), le minimum et la moyenne géométrique valent 0 pour tous ;
• 12 échecs relus un à un sur 104 réponses à items fixes, aucun faux négatif du correcteur ; gpt-4.1-nano répond « trophy » aux deux variantes du Winograd, et commet l'erreur 5.11 > 5.9 citée par R13 ;
• signal compatible avec la contamination : les pièges publiés de R13 (Napoléon, Churchill) n'attrapent que le modèle local, le piège d'article inventé pour ce notebook attrape gpt-4.1-nano et gpt-4.1-mini, le piège sur notre propre dépôt attrape les quatre ;
• contortions : rappel ponctuel parfait jusqu'à 400 notes réinjectées, pour un prompt de 6 832 à 9 530 jetons et 49,8 s par question en local ; l'agrégation se dégrade (le modèle local répond l'identifiant de la dernière note lue, à 100 comme à 400 notes) ; le RAG fait rectifier les trois API mais donne au modèle local de quoi habiller sa prémisse fausse ;
• stabilité à T=0 : 54/54 verdicts identiques au rejeu pour gpt-4.1-nano et gpt-4.1-mini, 52/54 pour qwen3.6-flash (deux items à sortie longue).

Deux limites d'instrument écrites dans le notebook plutôt que cachées : le lexique nltk rejette de vrais mots (racecar, stats, quasar...), affichés à part comme faux négatifs, sans effet sur les scores de ce run car tous les modèles d'API dépassent la cible sans eux ; la table « rappel de mots inventés » contient aussi l'item WM-r13 (la liste [10, 20, 30] de R13), ce que la lecture signale.

Verdict SOTA

Sur ce qui est livré : SOTA-OK. Toutes les sorties sont de vrais appels de modèle, et aucune n'est fabriquée ni de substitution. Les fournisseurs effectivement utilisés :

Modèle	Fournisseur réel
Qwen/Qwen3.5-0.8B	local, CPU, transformers (décodage glouton)
gpt-4.1-nano, gpt-4.1-mini	API OpenAI
qwen3.6-flash	API Qwen d'Alibaba (compatible OpenAI)

Les clés sont lues dans l'environnement et _masquer retire URL et préfixes de clé de tout message d'erreur (0 erreur d'appel dans ce run).

Écart avec l'issue, écrit plutôt que tu. #16755 demandait la batterie « sur nos modèles hébergés ». Ces services n'ont pas pu être appelés depuis cette lane. Mesure sans clé, code HTTP seul, GET /v1/models, les deux fois :

Service (GenAI/.env)	21:54Z (lane CoursIA-2)	22:19Z (cette lane)	Verdict
TGWUI_MEDIUM_API_URL (Qwen3.5-35B-A3B)	401	401	RECOVERABLE-USER-HAND : le service répond et exige une authentification. Aucune variable de clé n'existe pour lui sur cette machine, et la question du credential est au registre user.
TGWUI_MINI_API_URL, _MICRO_, _LARGE_	000	000 (timeout 15 s)	RECOVERABLE-MACHINE : injoignables, relève de la machine hôte

La reprise est tracée dans #17458 : ajouter une route hébergée conditionnelle à la clé, ajouter Qwen3.5-35B-A3B, ré-exécuter, puis réécrire les lectures chiffrées. Le modèle local est de la même famille (Qwen3.5, 0,8 B). Le comparer au 35B-A3B isolera donc l'effet de la taille à famille fixe.

Choix d'instrument écrit dans le notebook : aucun juge LLM (le 22 a montré ses biais), des correcteurs mécaniques testés sur des réponses fictives avant tout appel ; un budget de jetons par domaine (16 pour S, 400 pour M), et la section des échecs qui sépare les faux négatifs du correcteur des vraies erreurs.

Preuves d'exécution

• Exécution Papermill de bout en bout, kernel coursia-ml-training : 47 cellules, 19 de code, execution_count 1 → 19 sans trou, 0 sortie error, 0 erreur d'appel de modèle (216 réponses dans la batterie principale, 162 dans le rejeu).
• Durée : batterie principale 261,8 s (local) + 46,0 / 46,2 / 51,6 s (API) ; rejeu 47,7 / 48,8 / 49,3 s.
• Les 14 cellules « Lecture du résultat » et la conclusion ont été écrites après l'exécution, à partir des sorties réelles (édition markdown seule, vérifiée : les 19 cellules de code, leurs sorties et les métadonnées sont identiques octet pour octet à la sortie Papermill).
• Trois figures vérifiées visuellement (courbe WM par nombre d'opérations, double radar, cube A×G×I).
• C.1 : grep -nE "raise NotImplementedError|assert False|1/0" ne trouve qu'une occurrence de 1/0 à l'intérieur d'une image PNG encodée en base64 ; aucune dans le code. Les trois exercices s'exécutent et affichent « Exercice ... a completer ».
• Fuites : aucune clé, aucun préfixe de clé, aucune adresse de service, aucun chemin machine dans les sorties (grep sur sk-, C:\\Users, le nom du compte, les domaines des fournisseurs : 0). metadata.papermill ne porte que des noms de fichiers.
• python scripts/notebook_tools/check_slot_reservation.py : VERDICT: OK -- aucun slot en conflit (slot GenAI/Texte/22b libre, 301 PR ouvertes interrogées).
• python scripts/ci/fast_lane.py --dry-run en local : pas de mesure valable, interrompu. La relance non tamponnée a annoncé 1045 fichier(s) modifie(s) contre main pour une PR qui en touche deux : elle comparait la tête à une branche main locale périmée, pas à la base de la PR. Le verdict qui fait foi est celui des check-runs de cette PR.

Sources

• R13 — Hendrycks et al., A Definition of AGI, arXiv:2510.18212. PDF : G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2025 - Hendrycks et al - A Definition of AGI.pdf (sha8 9D739CEC). Pages citées dans le notebook vérifiées sur le PDF.
• R11 — The 2026 Singapore Consensus on Global AI Safety Research Priorities, arXiv:2608.14611. PDF : G:\Mon Drive\MyIA\IA\Bibliographie IA\XAI\2026 - Casper et al - The 2026 Singapore Consensus on Global AI Safety Research Priorities.pdf (sha8 134E9DA8).

Hors périmètre / à savoir

• COURSE_CATALOG.*, les blocs CATALOG-STATUS et _quarto.yml ne sont pas touchés : ils appartiennent à l'automatisation. Le compteur pedagogical_count: 30 du README sera recalculé par elle.
• Le notebook 22 n'est pas modifié : le parcours canonique reste 22 → 23, et la navigation du 22b pointe vers les deux. Ajouter un renvoi « pour approfondir » dans le 22 relève d'une PR séparée.
• La PR feat(nlp,#16271): série TAL dédiée — migration atomique des notebooks 23-26 vers NLP/ #16713 (migration TAL 23-26 vers NLP/) modifie le même README quelques lignes plus bas : conflit textuel trivial attendu pour celle qui merge en second, sans recouvrement de contenu.
• See #16755 et non Closes : la fermeture reste au coordinateur après relecture.

🤖 Generated with Claude Code

[clusterManager-Myia]

VERDICT: LGTM

[Hermes] APPROVE — head fbe2a52b (P4 : +2380, notebook).

Full read du notebook (47 cellules, 19 code) via vue structurelle + vérification programmatique des gates #17040 :

• Gate placement : chaque « Lecture du résultat » est unique et placée immédiatement APRÈS sa cellule de code (le warning « headers dupliqués » de l'analyse structurelle reflète la répétition du titre de série, pas un empilement de prose — zéro séquence 2+ markdown).
• Gate valeurs : toutes les valeurs citées sont présentes dans les outputs committés — vérifié point par point (27 %/57 % GPT-4/5, lexique 234377, 22/37/41/42 sur 54, stabilité 54/54 mini, moyennes 0.803/0.786, et le claim « douze échecs sur 104 réponses » re-dérivé exact : K 1/24 + RW 4/20 + M 1/24 + R 4/20 + S 2/16 = 12/104).
• MS = 0 partout avec IC [0.00-0.00] : le motif central de R13 est reproduit, pas asserté.
• Exercices : 3 stubs TODO à sortie « à compléter », aucune solution leakée.
• Secrets : zéro pattern sensible ; clés lues via .env et masquées dans les outputs (« cle configuree (masquee) »).
• Articulation : chaque section sert l'arc (cadre R13 → batterie → exécution → radar → agrégats → stabilité → contortions → cube A×G×I) ; pas de prose de remplissage.

Ligne README ajoutée, tag grain conforme. Rien de bloquant.

[github-actions]

✅ No prose/output mismatch detected in the notebooks this PR changed.

Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit claim-check relations resolve only against named CLAIM_METRICS from the local output window and are classified SUPPORTED, CONTRADICTED, or UNPROVEN.
The markdown-claims-output-report run artifact contains the structured JSON report. See python scripts/check_markdown_claims_output.py --help for re-running locally.
Detector rationale: c.290 / c.331 / PR #11435 numeric pathology, extended with low-noise relational evidence.

[github-actions]

G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
La lane `myia-po-2025:CoursIA` voit ces signaux actifs sur les mergees du jour (UTC 2026-09-22) :

• TIER-INFLATION : declared LIGHT << effective LIGHT-genre (tally : declared=0 genre=3 cap=11)
• NOTE ([variation] Le label est lane-agregat mais PR-attache : le merge-gate peut HOLD le grain de CONTENU qui remedie au motif #10341) : la PR courante est de classe CONTENU (non LIGHT-genre) et ne contribue pas au motif ci-dessus -- les labels agregees ne sont PAS poses sur cette PR (le merge-gate ne doit pas la HOLD pour ce motif ; le coupable est parmi les grains META de la lane).

G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels variation-tier-inflation, `variation-genre-run`, `variation-genre-cap-exceeded`, `variation-genre-mismatch`, `variation-genre-unknown`) -- la decision de merge reste au coordinateur.

[github-actions]

Notebook outputs-required (H.4 schema): PASS (every code cell carries an outputs: list)

[github-actions]

Golden-Set Execution (H.7 P3)

✅ 8/8 notebooks passed (certified reproducible)

Notebook	Status	Time
2.1-Workflow-ML.ipynb	✅ SUCCESS	4.3s
2.2-Descente-de-gradient.ipynb	✅ SUCCESS	4.4s
2.3-Regression-lineaire-logistique.ipynb	✅ SUCCESS	5.5s
2.4-Arbres-Forets-Ensembles.ipynb	✅ SUCCESS	5.1s
Search-01-StateSpace.ipynb	✅ SUCCESS	3.5s
SL-1-LogicalLearning.ipynb	✅ SUCCESS	2.6s
rl_4_multi_armed_bandits.ipynb	✅ SUCCESS	30.9s
GameTheory-04c-NashExistence-Python.ipynb	✅ SUCCESS	4.8s

Pinned lockfile: scripts/notebook_tools/golden_set.lock.txt (H.7 P3, axe A #4208)

[github-actions]

Notebook PR Validation: PASS

• Notebooks checked: 1
• Code cells validated: 19
• Result: All passed

Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns)
Non-Python kernels (.NET/Lean): C.1 + errors only (execution_count advisory)
QuantConnect notebooks: C.1 + errors only (require QC Cloud for execution)

[github-actions]

Path-collision (organ #13359/#13615)

Cette PR #17454 (feat(genai,#16755): notebook 22b - profil cognitif CHC d'un LLM (Hendrycks 2025)) touche au moins un chemin de fichier aussi modifie par d'autres PRs ouvertes. Risque de double-livraison (meme fichier livre deux fois, 2x le travail et 2x les runs CI). Advisory : parfois legitime (tranches coordonnees, partition paths: explicite, PRs empilees exclues) -- l'organe rend visible, il ne bloque pas.

• faible -- chore(catalog): scheduled auto-regenerate (long-lived PR) #15942 partage : MyIA.AI.Notebooks/GenAI/Texte/README.md
• faible -- feat(nlp,#16271): série TAL dédiée — migration atomique des notebooks 23-26 vers NLP/ #16713 partage : MyIA.AI.Notebooks/GenAI/Texte/README.md

[jsboige]

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2025:CoursIA-2
pr: 17454
head: fbe2a52
complete: true
body: read
comments-reviewed: 6
reviews-reviewed: 1
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: dbdb636fde8033eb6d537582b1a14e78dd3c687d90bdb7573eef7102b04fd5ad
diff-files: 2
diff-additions: 2380
diff-deletions: 0
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]

Note pour la lecture B.0 finale d'ai-01 : le body déclare un écart avec #16755, qui demandait la batterie « sur nos modèles hébergés ». TGWUI medium répond 401 et mini 000 ; le verdict est RECOVERABLE-USER-HAND, et la reprise est tracée en #17458 (OPEN). Cet écart est écrit, pas maquillé. Le credential est la question Q3 du registre user.
Vérifié firsthand au head fbe2a52ba0 :

• l'APPROVE Hermes porte sur ce head ;
• 19/19 cellules de code exécutées, séquence 1..19, 0 sortie error ;
• aucun identifiant accentué, aucune fuite (sk-, chemin machine, compte) ;
• les 2 occurrences de « False »/« error » dans les sorties sont du contenu de batterie (un correcteur testé, une réponse de modèle), pas une dégradation.
  feat(nlp,#16271): série TAL dédiée — migration atomique des notebooks 23-26 vers NLP/ #16713 touche le même README de série quelques lignes plus bas : conflit textuel trivial attendu pour la PR qui mergera en second.