Constat
Deux figures du README de la serie GenAI/Texte decrivent une execution que le notebook committe ne produit pas :
| Emplacement |
Ce qu'annonce le README |
Ce que le notebook 16 sur main imprime |
texte-scaling-passk.png (ligne 86) |
bucket difficile en montee ~0.38 → ~0.54 → ~0.67 → ~0.75 |
0.25 / 0.40 / 0.50 / 0.50 |
texte-bon-vs-reflex.png (lignes 90, 93, 94) |
« difficile = BoN ~0.67 bat Reflexion ~0.50 » ; « chaque regime a sa strategie gagnante » |
difficile : BoN 0.50 / Reflexion 0.50 <- egal |
Mesure faite sur main au 2026-09-15, sorties committees des cellules 7 et 10 de
16_Scaling_Test_Time_Compute.ipynb (le run committe tourne sur meta-llama/llama-3.3-70b-instruct) :
bucket | pass@1 | pass@2 | pass@4 | pass@6
facile | 1.00 | 1.00 | 1.00 | 1.00
moyen | 1.00 | 1.00 | 1.00 | 1.00
difficile | 0.25 | 0.40 | 0.50 | 0.50
bucket | BoN pass@4 | Reflexion K=4
difficile | 0.50 | 0.50 <- egal
La legende est fidele a l'image (verifie a la lecture : la courbe rouge monte bien de ~0.38 a ~0.75,
les deux autres sont plates a 1.00). Le defaut n'est donc pas la legende : c'est l'image elle-meme,
qui a ete exportee d'un run qui n'est plus celui du notebook.
Cause racine
Le notebook ne produit aucun de ces fichiers : les deux figures sont construites en memoire
(io.BytesIO -> display(Image(...)), cellules 8 et 11) et n'ecrivent rien sur disque. Verifie :
$ grep -c "assets/readme" MyIA.AI.Notebooks/GenAI/Texte/16_Scaling_Test_Time_Compute.ipynb
0
assets/readme/*.png sont donc des copies exportees a la main, sans chemin de regeneration.
Rien ne les relie au run courant : elles derivent en silence a chaque re-execution du notebook,
et aucune CI ne peut le voir (les ratchets de la famille Output-* comparent des notebooks,
pas des PNG de README).
Portee
Le meme schema vaut pour texte-reason-vs-scale.png (ligne 100), qui illustre le notebook 17 :
meme absence de chemin de generation, meme exposition a la derive. A verifier — je ne l'ai pas
mesure ici.
Correctif propose
Deux options, a trancher :
- Regenerer depuis le run courant et documenter le geste d'export (le rendre reproductible) —
c'est la seule voie qui empeche la derive de revenir ;
- Ajouter un chemin de generation dans le notebook (
fig.savefig("assets/readme/<nom>.png")
conditionne a une variable d'environnement, ou un script d'export dedie), de sorte que les
figures du README soient un produit du notebook et non une copie manuelle.
L'option 2 est preferable : elle supprime la classe de defaut au lieu de la corriger une fois.
Origine
Constate en auditant les claims quantitatives autour du notebook 16 pendant la reparation
de la PR #16054 (le bucket difficile y est recalibre). Ce n'est pas une regression de
cette PR : le drift est present sur main avant elle, et cette PR ne touche pas le README.
Signale separement pour ne pas elargir son perimetre (un PR = un sujet).
Constat
Deux figures du README de la serie
GenAI/Textedecrivent une execution que le notebook committe ne produit pas :mainimprimetexte-scaling-passk.png(ligne 86)difficileen montee~0.38 → ~0.54 → ~0.67 → ~0.750.25 / 0.40 / 0.50 / 0.50texte-bon-vs-reflex.png(lignes 90, 93, 94)~0.67bat Reflexion~0.50» ; « chaque regime a sa strategie gagnante »difficile : BoN 0.50 / Reflexion 0.50 <- egalMesure faite sur
mainau 2026-09-15, sorties committees des cellules 7 et 10 de16_Scaling_Test_Time_Compute.ipynb(le run committe tourne surmeta-llama/llama-3.3-70b-instruct) :La legende est fidele a l'image (verifie a la lecture : la courbe rouge monte bien de ~0.38 a ~0.75,
les deux autres sont plates a 1.00). Le defaut n'est donc pas la legende : c'est l'image elle-meme,
qui a ete exportee d'un run qui n'est plus celui du notebook.
Cause racine
Le notebook ne produit aucun de ces fichiers : les deux figures sont construites en memoire
(
io.BytesIO->display(Image(...)), cellules 8 et 11) et n'ecrivent rien sur disque. Verifie :assets/readme/*.pngsont donc des copies exportees a la main, sans chemin de regeneration.Rien ne les relie au run courant : elles derivent en silence a chaque re-execution du notebook,
et aucune CI ne peut le voir (les ratchets de la famille
Output-*comparent des notebooks,pas des PNG de README).
Portee
Le meme schema vaut pour
texte-reason-vs-scale.png(ligne 100), qui illustre le notebook 17 :meme absence de chemin de generation, meme exposition a la derive. A verifier — je ne l'ai pas
mesure ici.
Correctif propose
Deux options, a trancher :
c'est la seule voie qui empeche la derive de revenir ;
fig.savefig("assets/readme/<nom>.png")conditionne a une variable d'environnement, ou un script d'export dedie), de sorte que les
figures du README soient un produit du notebook et non une copie manuelle.
L'option 2 est preferable : elle supprime la classe de defaut au lieu de la corriger une fois.
Origine
Constate en auditant les claims quantitatives autour du notebook 16 pendant la reparation
de la PR #16054 (le bucket
difficiley est recalibre). Ce n'est pas une regression decette PR : le drift est present sur
mainavant elle, et cette PR ne touche pas le README.Signale separement pour ne pas elargir son perimetre (un PR = un sujet).