Skip to content

GenAI/Texte : les figures du README sont des copies manuelles sans chemin de regeneration (derive mesuree vs notebook 16) #16275

Description

@jsboige

Constat

Deux figures du README de la serie GenAI/Texte decrivent une execution que le notebook committe ne produit pas :

Emplacement Ce qu'annonce le README Ce que le notebook 16 sur main imprime
texte-scaling-passk.png (ligne 86) bucket difficile en montee ~0.38 → ~0.54 → ~0.67 → ~0.75 0.25 / 0.40 / 0.50 / 0.50
texte-bon-vs-reflex.png (lignes 90, 93, 94) « difficile = BoN ~0.67 bat Reflexion ~0.50 » ; « chaque regime a sa strategie gagnante » difficile : BoN 0.50 / Reflexion 0.50 <- egal

Mesure faite sur main au 2026-09-15, sorties committees des cellules 7 et 10 de
16_Scaling_Test_Time_Compute.ipynb (le run committe tourne sur meta-llama/llama-3.3-70b-instruct) :

bucket      | pass@1 | pass@2 | pass@4 | pass@6
facile      |   1.00  |   1.00  |   1.00  |   1.00
moyen       |   1.00  |   1.00  |   1.00  |   1.00
difficile   |   0.25  |   0.40  |   0.50  |   0.50

bucket      | BoN pass@4 | Reflexion K=4
difficile   |     0.50      |     0.50      <- egal

La legende est fidele a l'image (verifie a la lecture : la courbe rouge monte bien de ~0.38 a ~0.75,
les deux autres sont plates a 1.00). Le defaut n'est donc pas la legende : c'est l'image elle-meme,
qui a ete exportee d'un run qui n'est plus celui du notebook.

Cause racine

Le notebook ne produit aucun de ces fichiers : les deux figures sont construites en memoire
(io.BytesIO -> display(Image(...)), cellules 8 et 11) et n'ecrivent rien sur disque. Verifie :

$ grep -c "assets/readme" MyIA.AI.Notebooks/GenAI/Texte/16_Scaling_Test_Time_Compute.ipynb
0

assets/readme/*.png sont donc des copies exportees a la main, sans chemin de regeneration.
Rien ne les relie au run courant : elles derivent en silence a chaque re-execution du notebook,
et aucune CI ne peut le voir (les ratchets de la famille Output-* comparent des notebooks,
pas des PNG de README).

Portee

Le meme schema vaut pour texte-reason-vs-scale.png (ligne 100), qui illustre le notebook 17 :
meme absence de chemin de generation, meme exposition a la derive. A verifier — je ne l'ai pas
mesure ici.

Correctif propose

Deux options, a trancher :

  1. Regenerer depuis le run courant et documenter le geste d'export (le rendre reproductible) —
    c'est la seule voie qui empeche la derive de revenir ;
  2. Ajouter un chemin de generation dans le notebook (fig.savefig("assets/readme/<nom>.png")
    conditionne a une variable d'environnement, ou un script d'export dedie), de sorte que les
    figures du README soient un produit du notebook et non une copie manuelle.

L'option 2 est preferable : elle supprime la classe de defaut au lieu de la corriger une fois.

Origine

Constate en auditant les claims quantitatives autour du notebook 16 pendant la reparation
de la PR #16054 (le bucket difficile y est recalibre). Ce n'est pas une regression de
cette PR : le drift est present sur main avant elle, et cette PR ne touche pas le README.
Signale separement pour ne pas elargir son perimetre (un PR = un sujet).

Activity

  1. jsboige commented on Sep 15, 2026

    @jsboige
    OwnerAuthor

    [CLAIMED] lane myia-po-2026:CoursIA-2 -- paths: MyIA.AI.Notebooks/GenAI/Texte/16_Scaling_Test_Time_Compute.ipynb, MyIA.AI.Notebooks/GenAI/Texte/17_Native_Reasoning_vs_Scaling.ipynb, MyIA.AI.Notebooks/GenAI/Texte/assets/readme/, MyIA.AI.Notebooks/GenAI/Texte/README.md

    Grain: DEEP/notebook-python — lane myia-po-2026:CoursIA-2 — prev: LIGHT/tooling #16257

    Option 2 du ticket (chemin de generation dans le notebook, pas export manuel) : les figures du README deviennent un PRODUIT du notebook au lieu d'une copie qui derive en silence. Verifie par check_lane_claim.py --paths : 5 chemins libres, 0 lane bloquante.

  2. added 2 commits that reference this issue on Sep 15, 2026
  3. added a commit that references this issue on Sep 28, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions