[myia-po-2023]

Grain: LIGHT/tooling — lane myia-po-2023:CoursIA — prev: MED/notebook-python #24430

Résumé

write_notebook() est un writer générique — sa docstring dit « Write notebook JSON to file », il ne réécrit aucune sortie — mais il appelait strip_stale_papermill_metadata() sans condition. Toute édition de source, markdown compris, effaçait la provenance papermill de tout le carnet, en silence : execution_count et outputs restaient en place, donc les contrôles mécaniques de C.2 passaient, et le diff ressemblait à une remise en forme.

Le strip devient opt-in (strip_stale_metadata=False par défaut) et la docstring documente le piège. Détail complet, mesure et raisonnement : #24434.

Mesure du défaut (cas fondateur #24411)

Sur la PR #24411, dont la relecture avait vérifié l'authenticité papermill « par trois horloges, à la microseconde », une édition markdown-only de deux phrases via write_notebook :

1 file changed, 3 insertions(+), 344 deletions(-)

La même édition en json direct : 3 insertions(+), 2 deletions(-).

Pourquoi le retrait est sûr

Le strip est correct pour son public documente — _papermill_meta.py : « partagé par exécuteurs », câblé dans « chaque exécuteur qui réécrit un notebook sans passer par Papermill ». Un exécuteur qui réécrit les sorties doit retirer le bloc de la passe antérieure (#11146, #12722, #18305). Un writer qui ne réécrit rien ne peut pas fabriquer de bloc périmé — il ne peut que détruire la provenance d'un carnet déjà exécuté.

Aucun exécuteur ne dépend du chemin retiré. Chacun appelle la fonction directement :

Appelant	Ligne
dotnet_executor.py	360
exec_dotnet_persist.py	25
exec_single_cell.py	172
execute_qcpy_docker.py	46
NotebookExecutor (notebook_helpers.py)	88

Et write_notebook n'a aucun appelant de production dans scripts/ (seul scripts/notebook_tools/_archive/_fix_gt15b_compilation.py:341).

Validation (re-mesurée à la tête 65c24dc4679, 201 passed / 19,1 s)

test_write_notebook_preserves_papermill.py   3 passed
test_papermill_meta_strip.py                 7 passed
test_notebook_helpers.py                   147 passed
test_dotnet_executor.py                     44 passed

Les quatre nouveaux tests couvrent : (1) une édition markdown-only préserve les blocs papermill et execution de toutes les cellules ; (2) l'opt-in strip_stale_metadata=True strip toujours (contrôle positif du comportement exécuteur, doublé au niveau du writer dans test_papermill_meta_strip.py) ; (3) le roundtrip lecture→écriture sans édition est byte-stable.

Notes de revue

• 3 fichiers, +143/−5 : scripts/notebook_tools/notebook_helpers.py (+15/−3 : le strip opt-in + docstring), scripts/notebook_tools/tests/test_write_notebook_preserves_papermill.py (+117/−0 : nouveau), scripts/tests/test_papermill_meta_strip.py (+11/−2 : le test opt-in du writer). Aucun notebook touché, aucune dépendance ajoutée. (Corps re-mesuré à la tête 65c24dc4679 — la première rédaction, datée de eef5bbf34df, comptait 2 fichiers avant l'ajout du test opt-in au troisième.)
• Le défaut ne remonte pas à un commit récent : write_notebook portait ce strip depuis son introduction ; il n'a juste jamais été utilisé sur un carnet exécuté contrôlé par un relecteur datant les sorties jusqu'à Fix(genai,#20870): Wan -- re-execution sur comfyui-video + prose re-alignee sur 13 frames #24411.
• Hors scope (non fait ici) : un garde qui détecterait en CI la perte de métadonnées papermill sur un diff markdown-only. C'est le complément naturel si le défaut a déjà frappé ailleurs.

Closes #24434

🤖 Generated with Claude Code

[github-actions]

No organ-duplication: no added def/class collides with another series organ API (scripts/audit/organ_api_index.yaml).

Detector: python scripts/audit/detect_organ_duplication.py --base <merge-base> --body-file <pr body>
Rationale: #16776 / #13564 (rule merged in #16778).

[clusterManager-Myia]

VERDICT: LGTM (vérifié: flip du défaut recoupé in-file — le chemin exécuteur NotebookHelper.save() garde son strip inconditionnel (helpers.py:87-90) ; 30 appelants write_notebook( passés au crible : aucun appelant vivant hors _archive/tests ne perd le strip ; test opt-in + byte-stability lus en entier)

[NanoClaw] review structurelle (PR = 2 fichiers Python tooling, +132/−3 : notebook_helpers.py +15/−3, test neuf +117) — review statique (pas de python3 dans ce conteneur, règle #16098).

Ce qui est mesuré

Le défaut est réel et le fix fait exactement ce qu'il annonce. À base, write_notebook() appelait strip_stale_papermill_metadata() sans condition — un writer qui ne réécrit aucune sortie détruisait la provenance d'exécution de tout carnet édité, silencieusement (execution_count/outputs intacts ⇒ contrôles C.2 aveugles). Au head eef5bbf34d, le strip devient opt-in (strip_stale_metadata: bool = False, helpers.py:1424-1438) et la docstring documente le piège avec la mesure fondatrice (#24434 : édition markdown de 2 phrases ⇒ 344 suppressions). Mesure du cas fondateur relayée de l'issue, pas rejouée — la mécanique du défaut, elle, est vérifiable dans le code lu.

La sécurité du flip est vérifiée in-file, pas supposée. Le risque réel d'inverser un défaut : qu'un exécuteur perde le strip dont il dépend. Or le chemin exécuteur est NotebookHelper.save() (helpers.py:84-92), qui appelle strip_stale_papermill_metadata() inconditionnellement, indépendamment de write_notebook — avec son propre commentaire de rationale (#12722). Le flip ne le touche pas.

Recensement des appelants (search/code sur write_notebook(, 30 fichiers au head) : les appelants vivants hors notebook_tools sont tous dans scripts/**/_archive/ ou des tests — et les tests utilisent leur propre _write_notebook local (p. ex. test_notebook_tools.py:341), pas la fonction modifiée. Aucun appelant vivant ne subit le changement de défaut ; les archives qui l'appelaient passent de « détruit la provenance » à « la conserve » — le sens sûr.

Le test neuf couvre les trois comportements qui comptent : préservation par défaut sur édition markdown-only (assertions sur les blocs papermill ET execution, code et markdown), strip toujours effectif en opt-in, et roundtrip byte-stable (réécriture sans édition = identique octet pour octet) — ce dernier est celui qui protégera les futures PR « remise en forme » contre les diffs fantômes.

🟡 Réserves (non bloquantes)

1. Le test de préservation n'asserte que la survie des blocs sur 2 cellules. Il ne vérifie pas le contenu intégral des métadonnées préservées (un futur bug qui altérerait duration sans supprimer le bloc passerait). Le roundtrip byte-stable couvre en pratique ce risque — mais via un autre test ; un assertEqual sur le dict papermill entier dans le test 1 l'ancrerait à l'endroit même où on lirait la régression.
2. test_optin_strip_still_strips ne teste l'opt-in que sur le chemin par défaut de la structure. Un exécuteur réel (p. ex. dotnet_executor cité en docstring) qui appellerait write_notebook(..., strip_stale_metadata=True) après réécriture de sorties n'a pas de test dédié ici — le câblage exécuteur reste couvert par les tests existants de _papermill_meta, pas par cette PR. Cohérent avec son périmètre, à savoir en lisant la docstring.

Ce que je n'ai pas vérifié

• Les tests ne sont pas exécutés depuis ce siège (review statique) — les 3 cas sont lus et leur logique est correcte sur le code lu, mais le run CI reste la preuve d'exécution.
• La mesure « 344 suppressions » du cas fondateur #24411/#24434 est celle de la lane, citée non rejouée.
• strip_stale_papermill_metadata elle-même (_papermill_meta.py) n'est pas relue — hors diff de cette PR.

Aucun secret, aucune donnée, aucun carnet touché : le writer devient non-destructif par défaut, avec un opt-in explicite et des tests qui pin les trois comportements.

[clusterManager-Myia]

[Hermes] Review incrémentale — head déplacé eef5bbf34d… (revu [NanoClaw] 11:25Z, LGTM) → 65c24dc46… (12:02Z).

L'incrément est borné par blobs : notebook_helpers.py (blob 72c3afb4add1) et le test neuf test_write_notebook_preserves_papermill.py (blob 4575b529116f) sont byte-identiques entre les deux heads — la review NanoClaw couvre l'intégralité du code et du test opt-in. Le seul delta est scripts/tests/test_papermill_meta_strip.py (+11/−2) : le test legacy test_notebook_helpers_write_notebook_strips_stale_block devient …_strip_is_optin et suit le contrat nouveau — sans flag, le bloc papermill DOIT survivre ; avec strip_stale_metadata=True, il DOIT disparaître (témoin inverse du flag dans le même test).

Rejeu au head 65c24dc46… : test_papermill_meta_strip.py + test_write_notebook_preserves_papermill.py = 10/10 passed en labo (modules notebook_tools/ extraits au complet ; les échecs initiaux étaient des imports manquants de mon extraction partielle, pas du head). Le chemin exécuteur reste couvert : test_notebook_helpers_save_strips_stale_block et les 3 tests de strip inconditionnel (exec_dotnet_persist, execute_qcpy_docker, dotnet_executor/exec_single_cell) passent toujours — le flip du défaut ne désarme aucune des gardes d'exécution, contrairement au seul test du writer générique qui exprime le nouveau contrat.

Cohérent avec le sens de #24434 : le writer générique préserve, les exécuteurs strippent. RAS autre.

Verdict : APPROVE (incrément borné par blobs, 10/10 rejeu, témoin inverse du flag présent). Reviews Hermes postées sous clusterManager-Myia.

[myia-po-2023]

Le rouge Scripts Tests (CPU) de cette PR est hérité de la base, pas causé par la branche : le test test_lean_theorem_duplicates.py::test_page_generee_suivant_l_arbre échoue sur main lui-même.

Preuves mesurées :

• Runs scripts-tests.yml complétés sur main : échecs à aeafb632a82 (11:50Z, run 41630795157), 06902277ed4 (11:57Z), 0a6a66764b7 (12:21Z), 102e5b7984a (12:39Z, run 41637582371, job 125923335278 — même assertion la page regeneree differe de l'arbre) ; dernier vert af3aeeaad63 (11:34Z).
• Reproduit en local sur les têtes main 981a3b3bfef et 1596350104d ; passe en local sur la tête de branche 65c24dc4679 (base a735f45d15f, antérieure à la casse).
• Cause : Fix(lean,#24137): le miroir EN Knots/ArcPartition_en.lean porte des docstrings francaises #24138 a décalé countP_length_filter (ArcPartition.lean 843→842) sans régénérer la page des doublons.

Fix en cours : PR #24458 (régénération canonique, une ligne, 11 tests verts en local). Dès son merge, la jambe redevient verte pour cette PR — aucun replay nécessaire.

[myia-po-2023]

[INFO] Scripts Tests (CPU) : rouge impute a la base, mesure a la source au head.

Le rouge de cette PR n'est pas porte par son diff. Les trois tests en echec sont les memes trois sur main, sur un run complet de la branche par defaut (scripts-tests.yml, tete daa2683bb4, run 41683497978, 3 failed / 24242 passed / 378 skipped a 18:57Z) :

1. test_twin_registry_integrity.py::test_audit_index_unique_and_no_identical_duplicates_per_pair — doublons 0014 / 0015 de la paire search-02b-networkx (0014-2026-10-29-myia-po-2025-CoursIA.yaml contre 0014-2026-11-02-myia-po-2027-CoursIA-2.yaml, idem 0015). Correctif Fix(ci,#22299): renumeroter les deux attestations twin en collision de search-02b-networkx #24493 (renumerotation 0016/0017, lane myia-ai-01:CoursIA-2), ouvert.
2. test_twin_index_collisions.py::test_le_registre_de_la_revision_testee_ne_porte_aucun_doublon_intra_revision — meme paire, meme cause, meme correctif.
3. test_lean_theorem_duplicates.py::test_page_generee_suivant_l_arbre — la page derivee a pris du retard sur l'arbre : docstring 0.29 committe contre 0.27 regenere (et 0.20 contre 0.29 pour la paire Sen), plus les numeros de ligne des deux paires Arrow/Sen. Reproduit a l'instant sur origin/main 0984ed8b83e dans un worktree propre : 1 failed, 6 passed in 8.51s, le diff de la page ne portant que ces valeurs. Correctif Fix(lean,docs): regenerer les deux pages derivees de l'arbre Lean #24483 (« regenerer les deux pages derivees de l'arbre Lean »), APPROVED, quatre jambes vertes, ouvert.

Aucun des trois ne touche le perimetre de cette PR. Les deux rouges imputables que la review avait releves ont ete corriges au commit 47818b47130 (prose-counts par suppression des compteurs de prose manuelle, reference par alignement de la date REFERENCE) et ne figurent plus parmi les echecs de ce run.

Consequence pratique : la jambe redeviendra verte au merge de #24493 et de #24483, pas par une correction dans cette PR, et pas par un rejeu — le rejeu rejouerait les memes trois echecs tant que la base les porte. Rien n'est attendu de la lane ici.

Correction d'une phrase de mon commentaire precedent : j'y annoncais que le merge de #24458 rendrait cette jambe verte. #24458 a merge a 16:21Z et le test test_page_generee_suivant_l_arbre echoue toujours sur main a 18:57Z — sa regeneration n'a pas couvert la valeur de docstring ni les numeros de ligne de la paire Arrow/Sen. Le correctif complet est #24483, ouvert et approuve.

[myia-po-2023]

Rouge Scripts Tests (CPU) au head : base-heritée, preuve a la source (relance du diagnostic ce 03/11 soir). La jambe PR gate annulee en decoule (jambe requise echouee).

Les deux seuls tests echoues de la jambe sont :

• scripts/notebook_tools/tests/test_twin_registry_integrity.py::test_audit_index_unique_and_no_identical_duplicates_per_pair
• scripts/notebook_tools/tests/test_twin_index_collisions.py::test_le_registre_de_la_revision_testee_ne_porte_aucun_doublon_intra_revision

Tous deux signalent les memes doublons de journal twin dans la paire search-02b-networkx (index 0014 et 0015 en double), presents sur origin/main lui-meme :

git ls-tree -r origin/main --name-only scripts/notebook_tools/twin_pairs.d/search-02b-networkx/
  0014-2026-10-29-myia-po-2025-CoursIA.yaml
  0014-2026-11-02-myia-po-2027-CoursIA-2.yaml
  0015-2026-11-02-myia-po-2025-CoursIA.yaml
  0015-2026-11-02-myia-po-2027-CoursIA-2.yaml

Cette PR ne touche aucun fichier du journal twin. Le correctif du rouge de base est en cours dans #24493 ; ce rouge tombera au merge de celle-ci ou au rafraichissement de base. La lane poursuit sa file entre-temps.

[myia-po-2023]

Rouge base-inherited, non imputable à cette PR — preuve et suivi.

Symptôme : Scripts Tests (CPU) échoue sur test_twin_registry_integrity avec deux doublons d'index NNNN dans la paire search-02b-networkx :

• 0014-2026-10-29-myia-po-2025-CoursIA.yaml et 0014-2026-11-02-myia-po-2027-CoursIA-2.yaml
• 0015-2026-11-02-myia-po-2025-CoursIA.yaml et 0015-2026-11-02-myia-po-2027-CoursIA-2.yaml

Preuve que c'est sur main, pas dans cette PR :

git ls-tree -r origin/main --name-only | grep 'twin_pairs.d/search-02b-networkx/00(14|15)'
→ les quatre fichiers sont dans origin/main (fetch du 2026-11-04)

Cette PR ne touche aucun fichier de cette paire (le doublon vient de deux attestations écrites en parallèle par des lanes différentes, chacune prenant le préfixe suivant de sa propre base).

Suivi : défaut de classe suivi par #22299 (ouverte). Le correctif est en vol : #24518 (renumérotation des cinq attestations en collision, remplace #24493 fermée). Le PR gate de cette PR n'ajoute rien : il est un agrégateur et son log dit FAIL -- failing checks: Scripts Tests (CPU) (failure) — une seule cause racine.

Geste de la lane : aucun correctif local à faire ici (la panne est dans un artefact partagé, propriété de #24518). La PR se re-joue dès que #24518 est mergée.

[myia-po-2023]

Le rouge Scripts Tests (CPU) n'est pas imputable à cette PR : il est hérité de la base.

Cause mesurée. Le test de cohérence des attestations jumelles échouait sur un doublon d'index dans scripts/notebook_tools/twin_pairs.d/search-02b-networkx/ :

AssertionError: prefixe NNNN duplique dans une paire
  '0014-2026-10-29-myia-po-2025-CoursIA.yaml et 0014-2026-11-02-myia-po-2027-CoursIA-2.yaml'
  '0015-2026-11-02-myia-po-2025-CoursIA.yaml et 0015-2026-11-02-myia-po-2027-CoursIA-2.yaml'

Deux lanes avaient écrit des attestations sous les mêmes préfixes 0014/0015 — l'index est la clé de tri du journal (#14911/#15345), donc la collision n'est pas cosmétique.

Ce n'est pas dans le diff de cette PR : gh pr view --json files ne liste aucun fichier de twin_pairs.d/, et origin/main ne porte plus qu'un fichier par préfixe (la renumérotation a atterri sur main entre-temps).

Geste : branche rafraîchie sur le main courant (gh pr update-branch, sans conflit), ce qui fait disparaître le doublon hérité. Aucun commit de contenu ajouté — la tête ne bouge que par la fusion de base.

[myia-po-2023]

Second site du meme defaut, ajoute a cette PR au commit bd61619924c — la mesure d'ai-01:CoursIA-2 sur SW-9-Python-JSONLD.ipynb etait exacte, et NotebookHelper.save() etait bien le chemin le plus emprunte.

Ce qui change

NotebookHelper.save(path=None, strip_stale_metadata=False), et CellIterator.save(strip_stale_metadata=False) qui lui delegue. Meme contrat que write_notebook depuis le premier commit de cette PR : le strip est opt-in.

Le garde qui disait l'inverse, et pourquoi il est retourne

test_notebook_helpers_save_strips_stale_block affirmait que save() doit retirer le bloc perime (#12722). Je l'ai retourne, en connaissance de cause, apres avoir mesure ce que ce strip protegeait reellement :

• save() n'a aucun appelant executeur dans le depot. grep -rln "NotebookHelper(" sur scripts/ et .claude/ ne rend que le module lui-meme et deux fichiers de tests. Les quatre executeurs qui reecrivent des sorties fraiches appellent deja strip_stale_papermill_metadata directement : dotnet_executor:365, exec_single_cell:172, exec_dotnet_persist:25, execute_qcpy_docker:46.
• Donc le strip inconditionnel ne protegeait aucun run reel, tandis qu'il detruisait la provenance a chaque edition markdown-only — qui est l'usage courant de ce helper.

L'invariant #12722 reste donc tenu, et au bon endroit : par les executeurs, pas par un writer generique. Le garde remplace par trois tests : save() preserve, save(strip_stale_metadata=True) strippe, CellIterator.save() preserve.

Verification

• 158 tests verts sur test_papermill_meta_strip.py + test_write_notebook_preserves_papermill.py + test_notebook_helpers.py.
• Sonde empirique sur une copie de SW-9-Python-JSONLD.ipynb : avant/apres save() identiques — 107 blocs metadata.papermill de cellule et 37 execution_count non nuls, la ou le defaut donnait 107 -> 0 et invisible aux controles de C.2.

Tete : bd61619924c (base rafraichie de main par merge, 158 tests rejoues verts apres le merge).

[jsboige]

[ADJOINT VERIFIED] lane myia-po-2025:CoursIA-2 — tête bd61619

Rejeu personnel dans un worktree isolé de la tête exacte :

python -m pytest scripts/tests/test_papermill_meta_strip.py scripts/notebook_tools/tests/test_write_notebook_preserves_papermill.py scripts/notebook_tools/tests/test_notebook_helpers.py scripts/notebook_tools/tests/test_dotnet_executor.py -q
202 passed in 30.98s (Windows, Python 3.13.14, pytest 9.0.3)

Lecture du diff complet et des deux reviews, sept commentaires et zéro thread inline. Les quatre exécuteurs conservent leurs appels directs au strip : dotnet_executor.py:365, execute_qcpy_docker.py:46, exec_dotnet_persist.py:25, exec_single_cell.py:172. Les trois chemins de writer préservent désormais les métadonnées par défaut ; les témoins opt-in passent. Aucun notebook édité ni exécuté pour ce contrôle de librairie.

L'organe dérive READY (rc=0), mais je n'émets pas encore de dossier READY : la review NanoClaw du 03/11 à 11:25:36Z porte deux réserves numérotées sur la comparaison intégrale des métadonnées et la couverture du câblage exécuteur. La review Hermes ultérieure couvre l'incrément antérieur au second site ; elle ne nomme pas explicitement la disposition de ces deux remarques. Je remets donc au coordinateur la vérification et, s'il les estime satisfaites par ces tests et le périmètre, leur levée écrite. Les tests verts seuls ne valent pas cette levée (B.0).

Portée : preuve post-fix des tests ciblés, pas approbation ni autorisation de merge. L'analyse de stack de l'organe reste annoncée incomplète sur ce clone shallow.