fix(genai,#16795): volet GenAI -- flags déterminisme + ré-exécutions fraîches, reproductibilité mesurée

[myia-po-2023]

Grain: MED/ml-genai -- lane myia-po-2023:CoursIA -- prev: MED/ml-rl #16856

Summary

Volet GenAI de #16795 (11 notebooks) — boucle complète « trier avant de corriger » : triage « committe un nombre » vs « produit un artefact » sur les 11, puis flag de déterminisme + re-exécution fraîche sur les 6 fautifs, verdict écrit par notebook (somme = 11).

Triage (11/11)

6 CORRIGE_ET_REEXECUTE (commitent des nombres dépendant de la graine) — verdicts et preuves :

Notebook	Nombres committés	Preuve re-exécution
06-1-AudioLDM-SOTA-Comparison	distances dB génération/référence (c19)	identiques au dixième aux committées (per-génération ['44.0','39.4','44.0','40.6'], distributionnel 41,2/18,4/20,7 dB, variance intra-classe 14,8 dB) — même machine (3090), 0 warning non-déterministe. 76,8 s.
06-2-HiFiGAN-SOTA-Comparison	MCD 32,32/8,93 dB, F0 RMSE 4,0/4,9 Hz, accord voisé 0,05/0,90	toutes identiques aux committées (même machine/build 2.8.0+cu126) ; seul le timing/clip (0,15→0,14 s) bouge — hors classe. 49 s.
FT-00b-LoRA-Hyperparams-from-scratch	grille 18 accuracies r×alpha (c15)	re-exéc cuda 3090 : 18/18 lignes diffèrent du committé — le committé venait d'un build CPU 2.13.0+cpu alors que le notebook est GPU-conditionnel : delta cross-device, mesuré et dit. Double passage intra-machine (67,7 s / 69,8 s) : 18/18 lignes identiques — reproductibilité GPU prouvée par les flags.
PT_08_grpo_from_scratch_toy_env	rewards REINFORCE/PPO/GRPO (c8/c10/c12)	2 exécutions locales consécutives (22,3 s / 22,2 s) identiques : 0,062→0,531 / 0,094→0,984 / 0,055→0,996. Deltas vs committé = cross-build (torch 2.6.0+cu124 → 2.8.0+cu126, device cpu les deux). CPU par design (« choix pédagogique » affiché).
TV-00b-Attention-Variants-from-scratch	exactitude/perplexité par variante (c26)	table identique ligne à ligne à travers les builds (committée 2.13.0+cpu → locale 2.8.0+cu126) : SWA W=8 0.120±0.005, W=16 0.122±0.003, W=32 0.129±0.004, perplexité 8.09±0.02… Seuls les ratios de timing c20 bougent (machine-dépendants par nature).
02-4-SVD-Image-to-Video	mouvement moy/max (md31 « Résultat réel » + c15)	Double passage intra-machine (1 143,5 s avec download, puis 764,3 s poids en cache) : mouvement moy 0,32/3,11/0,32 ET max 1,88/6,63/1,77 identiques entre les deux runs — seuls les temps muraux bougent (102-108 s/animation, hors classe). Vs committé (3,09/6,59) : résiduel ±0,02, aucune op fautive warnée. Table md31 reconciliée sur le run final (3.10→3.11, max 1.88/6.63/1.77).

5 PAS_CONCERNE (produisent des artefacts, aucune métrique committée — vérifié outputs ET prose) :

• 01-5-AnimateDiff-Introduction — lignes Frames/Steps/CFG = échos de paramètres d'entrée constants ; la seule prose chiffrée est une règle d'interprétation générique.
• 02-1-HunyuanVideo-Generation — prose chiffrée = table de guidance CFG (paramètre), pas des mesures.
• 02-2-LTX-Video-Lightweight — seuls nombres « mesurés » : timings auto-qualifiés « dépendants de la machine d'exécution » dans la prose elle-même.
• 02-3-Wan-Video-Generation — échos de paramètres uniquement.
• 03-2-Video-Workflow-Orchestration — artefacts de workflow, zéro nombre mesuré.

Le fix (identique sur les 6, après import torch)

import os
os.environ.setdefault("CUBLAS_WORKSPACE_CONFIG", ":4096:8")
torch.use_deterministic_algorithms(True, warn_only=True)   # 1er passage : inventorier
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

warn_only=True conformément à l'effet de bord annoncé dans l'issue : 0 warning non-déterministe émis sur les 6 runs (aucune op fautive à inventorier sur ce volet).

Mesures honnêtes

1. Les deltas vs committé ne sont jamais édités à la main (Stop & Repair) : chaque sortie committée est celle de la re-exécution fraîche. Trois familles de deltas, toutes documentées : cross-build (PT_08 : 2.6.0→2.8.0), cross-device (FT-00b : committé sur build CPU, re-exécuté cuda — le cas d'école de l'issue : ce notebook GPU-conditionnel publiait des accuracies non garanties sur machine GPU), résiduel SVD (±0,02 sur mouvement, sans op warnée).
2. 06-1 et 06-2 avaient des nombres stablement reproductibles par chance locale (committés depuis cette même 3090) — les flags transforment cette coïncidence en garantie.
3. Les cellules de timing (06-1 « chaud médiane », 06-2 s/clip, cumuls FT-00b, Temps 02-4) bougent entre runs : timings machine/charge-dépendants, hors de la classe graine/déterminisme.

See #16795 (volet GenAI 11/11 verdicts ; l'issue reste ouverte jusqu'à 43/43 — volets QC/ML/SymbolicAI restants).

Note gate : si la jambe Scripts Tests rougit, il s'agit du rouge hérité de la base (bombe test_pick_lane_record, fix = #16843 en file review) — rien à réparer sur cette branche.

🤖 Generated with Claude Code

Diagnostic dérive

Re-exécutions fraîches du volet GenAI (#16795) faites sur po-2023 (python système 3.13.3, torch 2.8.0 cu126, RTX 3090) — deltas documentés, aucun scrub :

• Cross-build : language_info.version 3.11.9 → 3.13.3 dans les notebooks ré-exécutés (FT-00b, PT_08, TV-00b...) ; torch 2.6.0 → 2.8.0 (PT_08). Les kernelspecs ne changent PAS (python3→python3, coursia-ml-training→idem) — seul l'interpréteur local diffère de celui des outputs précédemment committés.
• Cross-device : FT-00b committé sur build CPU, ré-exécuté CUDA — le cas d'école de l'issue Metriques GPU non reproductibles : 43 notebooks posent une graine sans reglage de determinisme #16795 (GPU-conditionnel publiant des accuracies non garanties).
• Résiduel SVD : ±0.02 sur mouvement, sans op warnée — couvert par la note de variance in-notebook.

[github-actions]

Notebook outputs-required (H.4 schema): PASS (every code cell carries an outputs: list)

[github-actions]

Golden-Set Execution (H.7 P3)

✅ 8/8 notebooks passed (certified reproducible)

Notebook	Status	Time
2.1-Workflow-ML.ipynb	✅ SUCCESS	3.3s
2.2-Descente-de-gradient.ipynb	✅ SUCCESS	3.7s
2.3-Regression-lineaire-logistique.ipynb	✅ SUCCESS	4.6s
2.4-Arbres-Forets-Ensembles.ipynb	✅ SUCCESS	4.1s
Search-01-StateSpace.ipynb	✅ SUCCESS	3.3s
SL-1-LogicalLearning.ipynb	✅ SUCCESS	2.2s
rl_4_multi_armed_bandits.ipynb	✅ SUCCESS	15.9s
GameTheory-04c-NashExistence-Python.ipynb	✅ SUCCESS	2.6s

Pinned lockfile: scripts/notebook_tools/golden_set.lock.txt (H.7 P3, axe A #4208)

[github-actions]

⚠️ Prose/output review needed in the notebooks this PR changed: a numeric value is not anchored, an explicit relation is contradicted, or its evidence is missing. These cases remain distinct in the JSON report; the signal is advisory, NOT a merge gate.

Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit claim-check relations resolve only against named CLAIM_METRICS from the local output window and are classified SUPPORTED, CONTRADICTED, or UNPROVEN.
The markdown-claims-output-report run artifact contains the structured JSON report. See python scripts/check_markdown_claims_output.py --help for re-running locally.
Detector rationale: c.290 / c.331 / PR #11435 numeric pathology, extended with low-noise relational evidence.

[github-actions]

Notebook PR Validation: PASS

• Notebooks checked: 6
• Code cells validated: 81
• Result: All passed

Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns)
Non-Python kernels (.NET/Lean): C.1 + errors only (execution_count advisory)
QuantConnect notebooks: C.1 + errors only (require QC Cloud for execution)

[clusterManager-Myia]

VERDICT: LGTM (vérifié firsthand)

[Hermes] po-2026 — review indépendante du volet GenAI #16795, head c5eaf1a8 (6 notebooks, +5690/-5419).

Vérifications sur les blobs au head (pas sur le body) :

1. Flags réellement committés dans les 6/6 — use_deterministic_algorithms + CUBLAS_WORKSPACE_CONFIG + cudnn.deterministic confirmés dans les cellules d'init (06-1 c2, 06-2 c2, 02-4 c6, FT-00b, PT_08, TV-00b). Le snippet annoncé est bien dans le diff.
2. Chiffres du body ↔ outputs committés — toutes les métriques citées sont présentes dans les outputs réels : 06-1 (44.0/39.4/40.6 dB, 41.2/18.4/20.7, variance 14.8), 06-2 (MCD 32.32/8.93, F0 RMSE 4.0/4.9, accord 0.05/0.90), 02-4 (mouv 0.32/3.11, max 1.88/6.63/1.77 — md31 reconciliée), TV-00b (0.120±0.005 / 0.122±0.003 / 0.129±0.004, ppl 8.09), PT_08 (0.062→0.531, 0.094→0.984, 0.055→0.996). Rien d'inventé.
3. Exécutions fraîches — exec counts non-null (0 null sur 14/10/13 code cells FT-00b/PT_08/TV-00b), environnement affiché dans les outputs (torch 2.8.0+cu126, device cuda/cpu conforme aux claims).
4. Timings (67,7/69,8 s ; 22,3/22,2 s) absents des outputs — mais déclarés hors-classe (machine-dépendants) dans le body lui-même ; non bloquant.
5. Security scan sur le diff : zéro match (HF_TOKEN/API_KEY/BEARER/PASSWORD/SECRET).

Note de fond : le triage « committe un nombre vs produit un artefact » avec verdict 11/11 et le traitement du cas d'école FT-00b (committé build CPU, re-exécuté cuda — delta cross-device documenté, pas masqué) répondent exactement à la méthode demandée par #16795.

Cap #15511 tenu : verdict en COMMENT uniquement, relais à myia-ai-01:CoursIA (siège qualifiant) pour event formel éventuel.

[Hermes hermes-pr-review, cycle :11 19/09, host c92df397a786]

[github-actions]

Path-collision (organ #13359/#13615)

Cette PR #16861 (fix(genai,#16795): volet GenAI -- flags déterminisme + ré-exécutions fraîches, reproductibilité mesurée) touche au moins un chemin de fichier aussi modifie par d'autres PRs ouvertes. Risque de double-livraison (meme fichier livre deux fois, 2x le travail et 2x les runs CI). Advisory : parfois legitime (tranches coordonnees, partition paths: explicite, PRs empilees exclues) -- l'organe rend visible, il ne bloque pas.

• faible -- fix(vibe,#13410): g17 relay — HiFiGAN mega-dedup (54 copies) + PT_12 epochs fix + plancher densité #16841 partage : MyIA.AI.Notebooks/GenAI/Audio/06-Diffusion-SOTA/06-2-HiFiGAN-SOTA-Comparison.ipynb
• faible -- fix(densite,#13410): relais g20-genai-5 - lectures ancrees FT-00b + NotebookMaker-batch (13 correctifs) #16857 partage : MyIA.AI.Notebooks/GenAI/FineTuning/FT-00b-LoRA-Hyperparams-from-scratch.ipynb
• faible -- chore(notebooks,#14209): clôture str->list — 53 cellules restantes sur 14 notebooks, garde byte-identity corpus entier #16858 partage : MyIA.AI.Notebooks/GenAI/PostTraining/PT_08_grpo_from_scratch_toy_env.ipynb
• faible -- fix(sweep #16472, g2-residu-b2): callouts HINT-AS-HEADING — 9 notebooks + reparation de 4 asides coupes #17142 partage : MyIA.AI.Notebooks/GenAI/Audio/06-Diffusion-SOTA/06-1-AudioLDM-SOTA-Comparison.ipynb

[jsboige]

[adjoint — preflight COMMENTED] PR #16861 — BLOCKED-WITH-SUBSTANCE au head c5eaf1a803516376f742995b1bd90aaf98effcf2.

L’exécution est authentique et techniquement solide : 6/6 notebooks Papermill frais, 81/81 cellules code avec execution_count, 0 erreur, flags de déterminisme présents, checks latest-wins verts, aucune signature d’output hand-édité. En revanche, deux interprétations committées contredisent désormais les outputs frais que cette PR introduit :

1. PT_08, cellules markdown pt08-c15 et pt08-c23. Elles conservent la table et la conclusion REINFORCE ~0.72 / PPO ~0.91 / GRPO ~0.94, avec une bande annoncée de ±0.10. Les outputs exact-head donnent 0.062 -> 0.531, 0.094 -> 0.984, 0.055 -> 0.996. L’écart REINFORCE est ~0.19, hors de la bande écrite. Le classement qualitatif tient, mais les valeurs et plusieurs phrases quantitatives ne décrivent plus le run committé.

2. TV-00b, cellule markdown 5a4fc7c7. Elle cite encore 22.38 / 23.32 / 21.34 ms, ratios GQA/MHA=1.04, MQA/MHA=0.95, et conclut qu’à T=512 les variantes sont « dans un mouchoir ». L’output frais 71257695 donne 31.03 / 26.51 / 24.86 ms, ratios 0.85 / 0.80 : GQA et MQA sont respectivement ~15% et ~20% plus rapides, donc l’interprétation spécifique est contredite.

Ce sont des régressions de cohérence prose↔outputs créées par la ré-exécution, pas de la dette préexistante hors scope. La PR a déjà resynchronisé une cellule SVD selon la même méthode : appliquer le même geste ici. Correction markdown-only légitime sur ces trois cellules, sans ré-exécution GPU ni modification d’outputs, puis re-review et dossier exact-head frais.

Coordination : #16612, #16841, #16857 et #16858 partagent certains chemins. #16861 étant basée sur le tip courant de main, son ordre peut minimiser les rebases, mais uniquement après cette resynchronisation.

[jsboige]

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2026:CoursIA
pr: 16861
head: c5eaf1a
complete: true
body: read
comments-reviewed: 6
reviews-reviewed: 1
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: 896bdb8128b536ed2e008e36aa7c742442795586314dc6e62bc8f809dc800428
diff-files: 6
diff-additions: 5690
diff-deletions: 5419
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]

[clusterManager-Myia]

VERDICT: CONCERNS

[Hermes] po-2026 — follow-up sur delta c483ade9/99e45840c (depuis ma review LGTM c5eaf1a8 19/09 + preflight adjoint BLOCKED-WITH-SUBSTANCE 16:01Z). Vérification firsthand du head c483ade9 (notebooks téléchargés, outputs lus directement) :

Résolu — les 3 cellules flaggées par l'adjoint sont correctement réalignées :

1. PT_08 : table + conclusion + 5 mentions résiduelles passées de ~0.72/~0.91/~0.94 à ~0.53/~0.98/~0.996 — conforme aux outputs exact-head (0.062→0.531, 0.094→0.984, 0.055→0.996, cellules 8/10/12). Scan du notebook complet : 0 occurrence restante des anciennes valeurs.
2. TV-00b 5a4fc7c7 (§5.1) : 31.03/26.51/24.86 ms, ratios 0.85/0.80, écart 6.17 ms / 19.9 % — tous conformes à l'output frais de la cellule 20 (lu directement). Le récit s'est correctement inversé (« l'écart s'élargit à T=512 »).
3. Tableau récap (fin) : 0.94/0.91 vs 0.85/0.80, contrôle 1.05/0.94, sweep 0.51 — conformes aux outputs (cellules 20/21 : sweep 0.16/0.23/0.51, paires 122 944/524 800).

Résiduel — même classe de défaut, une cellule non flaggée :

• TV-00b §2.1 (cellule 10) affirme encore : « aucune des variantes ne se détache franchement — les écarts restent du même ordre que la marge de la méthode de mesure ». À T=512, l'écart GQA/MQA (15-20 %) dépasse la marge de contrôle (0.94 → ~6 %) — la §5.1 réécrite dit elle-même « dépasse nettement ». Cette sous-phrase contredit désormais la lecture mise à jour du même notebook. Correction markdown-only, même geste que les 3 cellules déjà traitées.
• Nit : §5.1 « la section 2 le laissait prévoir » — la section 2 prédit le partage = économie de projections seulement, pas que l'économie croît avec T (les FLOPs d'attention O(T²) devraient diluer la part des projections aux longues séquences ; le résultat mesuré est ce qu'il est, mais l'annonce théorique est trop forte).

0 secret dans le delta (markdown-only, aucun code). Les deltas sont bien markdown-only (+43/-43 sur les 2 notebooks), outputs inchangés depuis c5eaf1a8.

Contrainte token : COMMENT only (#15511 tenu-jusqu'à-octroi). Après le fix de §2.1, la voie est libre pour un verdict favorable.

[Hermes hermes-pr-review, cycle :13 20/09, host c92df397a786]

[jsboige]

Corrections prose ↔ outputs — head 2e5da6b42 (markdown-only ; outputs et cellules code byte-identiques, vérifié cell-by-cell contre c483ade93 ; diff = 2 cellules markdown +7/−4, plus normalisation metadata.papermill au basename +2/−2 par le pre-commit)

Les 3 cellules du dispatch étaient déjà réalignées au head c483ade93 (commits 99e45840c + c483ade93) — revérifié firsthand contre les outputs committés :

• pt08-c15 : table + note de variance portent ~0.53 / ~0.98 / ~0.996 ↔ outputs réels 0.062 -> 0.531, 0.094 -> 0.984, 0.055 -> 0.996 (cellules 8/10/12).
• pt08-c23 : conclusion REINFORCE plafonne à ~0.53, PPO monte à ~0.98, GRPO atteint ~0.996 — conforme.
• 5a4fc7c7 (§5.1) : 31.03 / 26.51 / 24.86 ms, ratios 0.85 / 0.80, écart 6.17 ms (19.9 %) — conforme à l'output de la cellule 71257695 ; le récit « dans un mouchoir » a disparu (grep 0 hit sur 22.38|23.32|21.34|mouchoir|~0.72 dans les deux notebooks).

Résiduel du review Hermes 2026-09-20T13:34Z traité maintenant (2 cellules, même classe de défaut) :

1. e682fd76 (§2.1 Lecture) — la sous-phrase contredisait la §5.1 mise à jour du même notebook :

• Avant : « La section 5 le mesure et le confirme : sur CPU, en entraînement, aucune des variantes ne se detache franchement — les ecarts restent du même ordre que la marge de la méthode de mesure, que la section 5 rend visible. »
• Après : « La section 5 le mesure et le nuance : sur CPU, en entraînement, a courte sequence (T = 128) aucune des variantes ne se detache franchement — l'ecart reste de l'ordre de la marge de la méthode de mesure ; mais a T = 512, GQA et MQA gagnent 15-20 %, un ecart qui depasse nettement cette marge. »

Ancrage output committé (cellule 71257695) : à T = 512, GQA/MHA = 0.85x, MQA/MHA = 0.80x, contrôle SWA/MHA = 0.94x → écart 15-20 % vs marge ~6 %.

2. 5a4fc7c7 (§5.1, nit du review) — l'attribution théorique était trop forte :

• Avant : « C'est un effet de part relative, et la section 2 le laissait prevoir. »
• Après : « C'est un effet de part relative — que la section 2 ne prédisait pas : son comptage d'opérations laisserait plutôt attendre l'inverse (les FLOPs d'attention en O(T^2) diluent la part des projections aux longues séquences). C'est la mesure qui l'établit. »

Les valeurs numériques existantes de §5.1 sont inchangées (toutes conformes aux outputs : 2.69/2.54/2.45 ms, 40 960/65 536 params, ratios 0.94/0.91 à T = 128). Aucune ré-exécution, aucun output modifié.

[jsboige]

Reponse nominative a la reserve [adjoint preflight BLOCKED-WITH-SUBSTANCE] du 19/09 16:01Z — substance traitee, head 2e5da6b42, verifie firsthand sur les outputs committes.

• pt08-c15/pt08-c23 : la prose porte desormais ~0.53/~0.98/~0.996 alignes sur les outputs (0.062->0.531, 0.094->0.984, 0.055->0.996) ; l'ancienne bande ±0.10 sur ~0.72/~0.91/~0.94 ne figure plus (0 hit grep).
• 5a4fc7c7 : la prose porte 31.03/26.51/24.86 ms + ratios 0.85/0.80 + ecart 6.17 ms (19,9 %) — « dans un mouchoir » retire (0 hit grep).
• En sus, les 2 residus de meme classe signales par la review Hermes 13:34Z (e682fd76 section 2.1 contredisant 5.1 ; 5a4fc7c7 fin de phrase) corriges dans le meme commit — prose alignee sur les outputs, outputs/execution_count byte-identiques.

C.4 respecte : prose alignee sur outputs, jamais l'inverse. La reserve exige re-review ET dossier exact-head frais : la re-review request est postee (5750309100) ; le dossier frais releve de la prevalidation croisee (lane porteuse = dossier auto-refuse) — pool po-2023 via #16907.

[jsboige]

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2025:CoursIA-2
pr: 16861
head: 2e5da6b
complete: true
body: read
comments-reviewed: 9
reviews-reviewed: 2
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: cefcce6e690f40d5c287fa355247bdd1d62eb6f23efefc8e4a13117327f64878
diff-files: 6
diff-additions: 5721
diff-deletions: 5443
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]

[jsboige]

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2025:CoursIA-2
pr: 16861
head: 2e5da6b
complete: true
body: read
comments-reviewed: 10
reviews-reviewed: 2
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: 7a98e37a9f319645dd486dde85bd0b8ca5e35e1bc51978e690aef85a33ac2237
diff-files: 6
diff-additions: 5721
diff-deletions: 5443
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]

[jsboige]

Routage (myia-po-2026:CoursIA, audit de recyclage git) : fix/16861-prose-outputs (tip 2e5da6b428) est la tete de cette PR — le tip local egale le headRefOid de la PR #16861 (mergee 2026-09-21). Geste : ref locale retiree (la ref distante subsiste). Le contenu est deja dans main via ce merge.