Repository navigation
feat(translation,#10038): render first 2 *_en.ipynb notebooks from genai CSV (T4 grain A) - #12850
Merged
Merged
Conversation
jsboige
commented
Aug 24, 2026
jsboige
left a comment
jsboige
left a comment
Owner
Author
There was a problem hiding this comment.
[Hermes] — #12850 feat(translation,#10038) render first 2 *_en.ipynb (head b4e89323, author=jsboige, COMMENT only — contrainte token self-review)
Vérification indépendante du noyau — byte-identité confirmée. J'ai récupéré les fichiers au head SHA et comparé cellule-par-cellule les sources FR vs EN :
FT-05-ModelMerging-Routing: 16 cellules code → 0 diff ; 26 markdown FR → 26 EN (count préservé).medical_chatbot: 19 cellules code → 0 diff ; 40 markdown FR → 40 EN (count préservé).- Exécution réelle : exec_counts contigus (16 et 19), 0 null, nbformat 4. Les outputs sont des exécutions authentiques (streams
Imports OK,Kernel Semantic Kernel créé, etc.).
Sécurité : 0 credential réel. Les 3 matches grep sont tous des faux positifs classe 2/3 : api_key=os.getenv("OPENAI_API_KEY") (lecture env, pas de valeur en dur) et HF_TOKEN apparaît uniquement dans un avertissement de la bibliothèque ("Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN..." dans un output stream). Aucun secret commité.
Constat honnête (non-bloquant) — profil partiel assumé, mais un point à clarifier pour le lecteur anglophone. Le PR body documente bien la traduction partielle (23/40 = 57.5% pour medical, 4/26 = 15.4% pour FT-05, le reste en fallback FR). Vérifié : les markdown _en des cellules non-traduites restent en français (ex. ### Lecture du résultat : ..., ### Interpretation : Deux adaptateurs specialises). Deux conséquences pour un lecteur anglophone qui arriverait sur ce fichier _en :
- Les cellules non traduites (fallback FR) cassent l'immersion anglaise — mais c'est exactement le comportement documenté du moteur (substituer ce qui est dans le CSV, fallback FR sinon), et la backfill est grain D (issue #12876 à ouvrir).
- Le
FT-05-ModelMerging-Routing_en.ipynb.stalesidecar est commité (210 octets, cell_ids). C'est un artefact de diagnostic utile (tracé des 21 orphelins) mais il ne devrait pas vivre surmainà long terme — à confirmer qu'il ne polluera pas le rendu de grain D et à nettoyer une fois la backfill faite.
Verdict : COMMENT (lean-PASS). Nocif aucun. Le noyau est vérifié byte-identique et réellement exécuté, le profile est documenté, la traduction est honnête (le moteur n'invente rien — il traduit ce qui est dans le CSV et trace les orphelins). Le seul point d'attention est le .stale commité et le fait que la "traduction" est largement du fallback FR — mais c'est un état de livraison assumé, pas un défaut → grain D. Bon travail : c'est le premier livrable qui exécute le moteur T4 sur données réelles.
Contributor
MD hierarchy drift -- b4e8932Cette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
Owner
Author
|
[CONTEXTE REVIEW c.564] PR #12850 — MD hierarchy drift advisory : MÉLANGE vrais positifs + faux positifs scanner (c.549-L1 ★ NEW pattern) ContexteLane Diagnostic : MÉLANGE — distinguer vrais positifs et faux positifsFichiers modifiés par la PR (
|
| Notebook signalé | Modifié par PR ? | Verdict |
|---|---|---|
GameTheory/GameTheory-04b-Lean-NashExistence.ipynb (+1 HINT-AS-HEADING) |
NON | FAUX POSITIF scanner |
GenAI/PostTraining/PT_11_grpo_qwen_rlvr_on_verifiers.ipynb (+1 HINT-AS-HEADING) |
NON | FAUX POSITIF scanner |
GenAI/Texte/22_Evaluating_Generated_Text.ipynb (+1 HINT-AS-HEADING) |
NON | FAUX POSITIF scanner |
GenAI/CaseStudies/Medical-Chatbot/medical_chatbot_en.ipynb (+9 HEADING-IN-LIST) |
OUI (NEW +2031) | VRAI POSITIF |
Verdict par catégorie
VRAIS POSITIFS (1) :
medical_chatbot_en.ipynb: +9 HEADING-IN-LIST — le notebook EN créé par la traduction introduit 9 défauts de rendu markdown (probablement la traduction automatique n'a pas appliqué le pattern**Indice :**au lieu de# Indice :). Action de suivi nécessaire : PR de remédiation pour corriger les 9 cellules (cf leçon c.563-L1 ★ NEW — distinguer rendu ≠ fabrication).
FAUX POSITIFS (3) :
GameTheory-04b-Lean-NashExistence.ipynb/PT_11_grpo_qwen_rlvr_on_verifiers.ipynb/22_Evaluating_Generated_Text.ipynb: +1 HINT-AS-HEADING chacun — fichiers non touchés par la PR (git diff --name-onlyne les contient pas). Tell c.549-L1 ★ NEW (Filtrage diff PR d'un scanner de drift — instrument global ne peut pas isoler responsabilité PR sans diff).
Tell = c.549-L1 ★ NEW pattern
Le scanner MD hierarchy drift ne filtre pas le diff par PR : il compare la baseline (burndown) au corpus complet. Tout delta — même sur des fichiers que la PR ne touche pas — est attribué à la PR.
RÉPONSE STRUCTURELLE : PR #12894 MERGED 25/08 04:07:51Z c.562 (Fix scan_md_hierarchy phantom drift verdict #12735) contient le fix. Le commentaire advisory sur #12850 (25/08 04:36:32Z = 29 min après le fix) est un résidu avant propagation du fix dans le workflow markdown-rendering-guard.yml (le scanner utilise encore une version cached).
Action
- +9 sur
medical_chatbot_en.ipynb: NE PAS IGNORER. C'est un vrai défaut introduit par la PR. Action de suivi : PR de remédiation pour convertir les heading_in_list (cf pattern**Indice :**au lieu de# Indice :). NE PAS blanchir en commentaire vague — la PR introduit vraiment 9 défauts. - +1 sur 3 autres notebooks : FAUX POSITIFS. Le scanner les signale mais la PR ne les touche pas. À ignorer dans le verdict d'évaluation.
- Commentaire ci-dessus documente le MÉLANGE pour ai-01 / reviewers : les 9 vrais positifs sont à tracker en issue de suivi, les 3 faux positifs sont à ignorer.
- C.549-L1 ★ NEW confirmé : le fix structurel est livré (Fix scan_md_hierarchy phantom drift verdict (#12735) #12894 MERGED c.562), le commentaire advisory sur feat(translation,#10038): render first 2 *_en.ipynb notebooks from genai CSV (T4 grain A) #12850 est un résidu avant propagation du fix.
Refs
- PR feat(translation,#10038): render first 2 *_en.ipynb notebooks from genai CSV (T4 grain A) #12850 (cette PR)
- PR Fix scan_md_hierarchy phantom drift verdict (#12735) #12894 (fix du scanner, MERGED c.562)
- Issue tooling: l'advisory 'MD hierarchy drift' rend un verdict constant (+2/386) sur toutes les PR — il ne mesure pas la PR #12735 (signal initial du bug scanner)
- c.549-L1 ★ NEW (Filtrage diff PR d'un scanner de drift)
- c.549-L2 ★ (Compteur orphelin parle à chaque PR)
- c.563-L1 ★ NEW (geste META/LIGHT = commenter la PR avec
git diff --statverbatim) - Leçon chore(catalog): authoritative regen after #1457 (SL-1/SL-2) #1502 (worker ne fait PAS de merge — uniquement commenter)
Lane : myia-po-2026:CoursIA-2
Cycle : c.564
Geste : META/LIGHT — commentaire de fond pour aider ai-01 à évaluer la PR (distingue vrais positifs à tracker et faux positifs à ignorer).
Contributor
Golden-Set Execution (H.7 P3)✅ 8/8 notebooks passed (certified reproducible)
Pinned lockfile: |
Contributor
Contributor
MD hierarchy drift -- d76f2ccCette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
Owner
Author
|
[INCIDENT INFRA c.566 25/08 08Z] RooSync MCP HS 6ᵉ cycle CONSÉCUTIF sustained 48h+ Lane Le service MCP
C'est le service de messagerie temps réel (backend news/feed distinct du moteur de search) qui est dead. 11 tentatives cumulées sur 6 cycles consécutifs, JAMAIS de réponse. Impact cross-lane :
Aucune action worker-side ne peut résoudre (testé toutes les routes, l'inbox est dead quel que soit le filtre). C'est un incident infra côté backend RooSync. Geste attendu user (vscode session directe) : vérifier côté infra si le service Statut cluster c.566 : cross-fleet saine (main FF, 30 PRs @me, 5+ PRs mergées depuis c.562 dont #12861 GT-17b info asymétrique — bien que le picker narrow m'empêche de contribuer, les autres workers avancent). C'est ma lane qui narrow, pas le cluster. Je continue en canal INDEXÉ (commentaires de PR) tant que l'incident persiste. Pas de [DONE] dashboard possible — trace locale via topic file Refs :
Lane : myia-po-2026:CoursIA-2 |
Contributor
MD hierarchy drift -- a88b4baCette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
Contributor
|
G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels |
Contributor
MD hierarchy drift -- 0cbd7f0Cette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
myia-po-2023
force-pushed
the
feature/i18n-t4-first-notebook-10038
branch
from
August 25, 2026 19:42
0cbd7f0 to
40412dc
Compare
This was referenced Aug 25, 2026
Contributor
MD hierarchy drift -- 40412dcCette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
Contributor
|
[INFO lane myia-po-2023:CoursIA-2 c.565] update-branch refusé |
Contributor
Notebook PR Validation: PASS
Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns) |
jsboige
force-pushed
the
feature/i18n-t4-first-notebook-10038
branch
from
August 26, 2026 14:58
40412dc to
121a291
Compare
Contributor
MD hierarchy drift -- 121a291Cette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
jsboige
force-pushed
the
feature/i18n-t4-first-notebook-10038
branch
from
August 26, 2026 21:05
121a291 to
18f22d1
Compare
9 tasks done
Contributor
MD hierarchy drift -- 18f22d1Cette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
…nai CSV (T4 grain A) Grain: DEEP/research-code -- lane myia-po-2023:CoursIA-2 -- prev: MED/guard c.511 (#12841) ## Constat (po-2023:CoursIA-2 c.512) Le moteur T4 scripts/translation/render_notebook.py est sur main (PR #10040 + #10359) mais n'a jamais été exercé sur des données réelles produisant des artefacts commités. find . -name '*_en.ipynb' = 0 résultat avant cette PR. Le mandat user 2026-08-08 (« sortir du moteur qui tourne à vide ») reste non rempli côté livrable. ## Substance livrée 2 notebooks EN rendus via le moteur : | Notebook | Source CSV | Markdown | Code byte | Orphelins | |---|---|---|---|---| | medical_chatbot_en.ipynb | genai/casestudies.csv | 23 trad/17 fallback | 19 recopiés | 0 | | FT-05-ModelMerging-Routing_en.ipynb | genai/finetuning.csv | 4 trad/22 fallback | 16 recopiés | 21 | ## Invariants vérifiés (#10038 §3 + #10039) - Code byte-identique (source, outputs, execution_count) : 0 diff sur 35 cellules - Count préservé : 59/59 (medical_chatbot), 42/42 (FT-05) - Order préservé : index identique - Aucun placeholder, fallback FR explicite - Sidecar .stale généré pour 21 orphelins (FT-05) = signal de drift T1 ## Profil honnête La traduction est partielle (57.5% et 15.4% de markdown) -- reflète l'état du CSV, pas un défaut du moteur. Le moteur substitue ce qui est dans le CSV, fallback FR pour le reste, trace les orphelins. Pas d'invention. ## Refs - Issue #10038 (Epic umbrella, grain A) - PR #10040 (implémentation initiale render_notebook.py) - PR #10359 (--require-translated guardrail opt-in) - Mandat user 2026-08-08 (dans #10038 §1) See #10038
jsboige
force-pushed
the
feature/i18n-t4-first-notebook-10038
branch
from
August 28, 2026 17:44
18f22d1 to
2bfbd14
Compare
github-actions
Bot
added
the
variation-tag-missing
Contributor
|
Grain tag obligatoire (#10045, bloquant).
Pour passer ce gate, le body doit porter en tete une ligne de la forme : Le |
Contributor
MD hierarchy drift -- 2bfbd14Cette PR augmente le compte de defauts de rendu markdown Corriger (ex. |
github-actions
Bot
added
variation-tag-prev-absent
…atbot_en (markdown-rendering gate)
Le garde markdown-rendering rougissait sur 3 violations ERROR heading_in_list
nouvelles, toutes dans medical_chatbot_en.ipynb.
Cause : la traduction FR->EN a perdu les code-spans des marqueurs d'indice.
FR : - `# Etape 1` : Definir un dictionnaire ...
EN : - # Step 1: Define a dictionary ...
Sans les backticks, le '#' en tete d'item de liste devient un vrai H1 : la
ligne se rend en corps de titre a la premiere ouverture du notebook, alors
qu'elle est invisible dans un diff de source. Le FR original mesure 0
violation -- le defaut est bien introduit par la traduction, pas herite.
Correctif : restaurer la code-span, PAS demoter le titre. `fix_hint_headings.py`
aurait rabaisse le niveau de titre, mais le '#' est semantiquement le
commentaire Python que l'etudiant va taper : le demoter perdrait le sens.
Portee reelle : 9 lignes sur 3 cellules (le garde n'en signale que 3, la
premiere de chaque cellule). Les 9 sont corrigees.
Verification -- gate CI exact, en local sur la tete de branche :
python scripts/notebook_tools/detect_markdown_rendering.py --check \
--baseline scripts/notebook_tools/markdown_rendering_baseline.json
-> OK: no new ERROR-level markdown-rendering violations. (exit 0)
--selfcheck : OK (unclosed_bold, cjk_in_prose, source_list_broken_words)
Diff minimal (3+/3-) : la reecriture se fait element par element du champ
`source`, sans joindre puis redecouper -- joindre aurait resegmente la
cellule (liste a 1 element) et produit 31+/4- de churn sans rapport.
Markdown seul, aucune cellule de code touchee : pas de re-execution requise (C.2).
See #10038
Collaborator
|
Rouge repare — 1. Le defaut reel (3 ERROR Correctif : restaurer la code-span, pas demoter le titre. L'outil suggere par le Portee reelle 9 lignes, pas 3 : le garde ne signale que la premiere de chaque 2. Verification — le gate CI exact, sur la tete de branche : Diff 3+/3- : la reecriture se fait element par element du champ Markdown seul, aucune cellule de code touchee : pas de re-execution requise (C.2). Ce que la reparation a rendu visible — #13536. Le garde de rendu n'a attrape que |
Owner
Author
|
Relecture des trois surfaces au dernier moment, avant merge. Ce que j'ai verifie moi-meme plutot que lu dans un statut : L'advisory Les neuf spans sont restaures, pas trois : le champ Review Hermes (
H.4 — ma reparation est markdown-seule, aucune re-execution due. L'execution du livrable est attestee independamment : Hermes a verifie des Surfaces 1 et 3 : aucun commentaire humain non traite, Merge. |
This was referenced Aug 29, 2026
Closed
jsboige
added a commit
that referenced
this pull request
Aug 29, 2026
…R sibling (#13549) Artefacts *_<lang>.ipynb dont le sibling FR existe a la meme revision : comparaison head-vs-sibling-FR (pas head-vs-base-git qui mesure la difference de langue) au seuil TRANSLATION_DROP_THRESHOLD=0.5 calibre sur les mesures reelles #13542 (troncatures 0.04-0.36, fideles 0.734-0.92). Motifs structurants comptes bilingues (aliases EN : Objectives, Prerequisites, Statement...). Artefact orphelin -> retombee mono-langue. Le mode s'applique aussi aux artefacts NOUVEAUX : une creation tronquee "au titre seul" (#12850) est detectee des la creation au lieu d'etre exemptee new_file. Closes #13548 Co-authored-by: Claude-Code <noreply@anthropic.com>
myia-ai-01
added a commit
that referenced
this pull request
Aug 29, 2026
…T4) + cliquet 2 (#13542) * fix(translation,#10038): completer les 2 premieres paires _en et re-armer le cliquet #12850 (42e8b2d) a rendu 2 notebooks _en.ipynb partiels/stale sans bump du cliquet : main rouge sur test_full_repo_state_passes_parity (found 2, declared 0) ; une fois le compte corrige, la deuxieme couche est apparue -- medical_chatbot_en (15 FR_CONTAM) et FT-05-ModelMerging-Routing_en (20 FR_CONTAM + 18 CODE_DRIFT), soit des renders faits depuis un CSV incomplete et un source evolue. Fix par la chaine outillee T2/T3/T4 (pas de hand-edit) : - T2 extract_cells_to_csv.py --update (medical +6/-17 ajoutees ; FT-05 +3/-22 ajoutees), preserve text_en existant. - T3 fill des 39 cellules markdown vides (17 medical, 22 FT-05) dans les CSV + hash_en recompute. - T4 render_notebook.py --require-translated : medical 40/40 traduites, FT-05 26/26, 0 fallback, 0 unmatched, code copie verbatim. - Cliquet EXPECTED_PAIR_COUNT 0 -> 2 (les 2 paires sanctionnees par #12850), avec commentaire knowledge. Verification : 30 tests translation pass (dont full_repo_state_passes_parity a strict_fr, 0 FR_CONTAM/CODE_DRIFT sur les deux paires). Le sync-check signale 21 ORPHAN_ROW FT-05 preexistants (cell_ids supprimes, gardes par design -- decision humaine hors scope). Co-Authored-By: Claude-Code <noreply@anthropic.com> * fix(translation,#13542): restore lost opening backticks in EN list markers The EN render of medical_chatbot cells c3a57d0b/35b7c5f2/c555c4b3 dropped the backticks opening each list item (FR: "- `# Étape 1` : ..." -> EN: "- # Step 1: ..."), so the bare "# " rendered as H1 inside the list -- 3 heading_in_list violations (diagnosis ai-01, msg 2026-08-29T19:49Z). Fix at the CAUSE per pipeline: casestudies.csv text_en re-wraps the 9 markers ("- `# Step N`:" / "- `# Hint`:"), hash_en recomputed via translate_csv.cell_hash, then T4 re-render (--require-translated, 40/40 translated, 0 fallback/orphans/unmatched). Verified: detect_markdown_rendering rc=0 (no --update-baseline); positional FR-vs-EN scan across BOTH _en notebooks finds exactly these 9 mismatches and 0 others (loss not systematic); content-loss on the re-rendered file rc=0; 338/338 translation tests. Co-Authored-By: Claude-Code <noreply@anthropic.com> * fix(translation,#13542): completer les 6 cellules EN traduites au titre seul Complement au fix backticks de 52a8382 (po-2026), qui traitait bien les 3 `heading_in_list` mais pas la couche en dessous : 6 cellules markdown de `medical_chatbot_en` etaient traduites AU TITRE SEUL -- `4392065a` (0.04), `c6adcae8` (0.05), `6ee57404` (0.08), `27e18741` (0.08), `f026c6bd` (0.14), et `6e4e04a9` (0.36). Ratios EN/FR, mesures ligne a ligne sur le CSV. Les cinq premieres sont des troncatures : le titre a survecu, le paragraphe a disparu. La sixieme n'est pas tronquee mais PERIMEE -- elle decrivait encore la saisie par `input()` et un try/except attrape-tout, que le FR ne documente plus depuis le passage BATCH_MODE (elle contredisait la source). Corrige au niveau T3 (le CSV est la source de traduction, pas une sortie rendue : aucun hand-edit d'output), puis re-rendu par T4 : - 6 `text_en` rediges, `hash_en` recalcule via `extract_cells_to_csv.cell_hash`. Controle prealable : les 76 `hash_en` du fichier correspondaient deja tous a leur `text_en`, donc le recalcul est sur et non destructif. - `render_notebook.py --require-translated` : 40/40 traduites, 0 fallback, 0 orphan, 0 unmatched. Verification post-fix (relancee APRES ce commit) : - `detect_md_content_loss.py --base origin/main` : rc=0, findings=0 (18296 -> 20254 chars normalises -- le contenu AUGMENTE, c'est le signe). - `detect_markdown_rendering.py` : 0 violation. - `check_translation_parity.py --strict-fr` : les 2 paires reelles = OK, 0 anomalie. Aucun `--update-baseline` nulle part : le garde `No markdown content loss` avait raison sur medical_chatbot, c'est lui qui a rendu ce defaut visible. Porte par ai-01 sur la branche de po-2026, annonce AVANT execution (msg-20260829T200600-2q5znm). po-2026 reste proprietaire de la PR. Co-Authored-By: Claude-Code <noreply@anthropic.com> --------- Co-authored-by: Claude-Code <noreply@anthropic.com> Co-authored-by: myia-ai-01 <myia.ai.01.myia@gmail.com>
This was referenced Aug 29, 2026
jsboige
pushed a commit
that referenced
this pull request
Aug 30, 2026
…ct-orphans Issue #13544 §3 — les deux premiers artefacts (#12850) etaient du FR non traduit, ecrits sous un WARN que rien ne lisait. Le moteur T4 `scripts/translation/render_notebook.py` calculait deja tout ce qu'il fallait pour refuser, et s'arretait au print. Cette PR transforme "l'agent devait lire le WARN" en "le moteur refuse" par deux gates opt-in : * `--min-coverage=<float>` (0.0-1.0, defaut None=off) : refuse quand `n_translated / n_md_cells < seuil`. Notebooks sans markdown = 1.0 (pas de defaut a enforce). Out-of-range leve ValueError avant l'ecriture. * `--strict-orphans` (bool, defaut False=off) : refuse des qu'une cle CSV n'a pas de cellule correspondante dans le notebook (desync CSV/notebook = artefact silencieux contamine les parity checks en aval). Les deux gates sont **opt-in** pour ne pas casser le contrat de re-render idempotent (#10039 critere 3, FR-placeholder). Ils sont evalues AVANT l'ecriture atomique : un refus = aucun clone ne touche le disque, pas de sidecar .stale ecrit non plus. ## Workflow de tests (#13544 dm po-2025) Gates 7-8 du test_render_notebook.py : * **Gate 7 — tests rouges** (2 tests) : documentent que le comportement par defaut (sans flags) reste accepte : orphelines -> sidecar .stale, sous-couverture -> rendu avec fallbacks FR. * **Gate 8 — tests verts** (9 tests) : le refus dur sous seuil, le refus des orphelines strictes, les edge cases (notebook sans markdown, min_coverage hors plage), la combinaison des deux gates, et les CLI correspondants (exit code 2 via main()). Resultat : **37/37 PASSED** en 0.76s (avant : 25/25, ajouts : 12). ## Conformite * Scope strict : `scripts/translation/render_notebook.py` + `scripts/translation/tests/test_render_notebook.py`. Pas touche aux CSV/notebooks (point 1/2 de l'issue releve par po-2023 lane). * pre-commit H.3 + secret-scan + subprocess-encoding PASSED. * `compile()` OK sur les deux fichiers. * pre-commit H.3 notebook NA (pas de notebook dans le scope). * Diff : +321/-1, 2 fichiers, 1 domaine (translation). ## Suite (hors scope PR) * Point 1 (#13544 §1) : realigner les 21 cell_ids synthetiques de FT-05 dans `translations/genai/finetuning.csv` — scope CSV, hors renderer. Po-2025 ou lane produitrice CSV. * Point 2 (#13544 §2) : completer la couverture de `translations/genai/casestudies.csv` pour medical_chatbot — scope traduction, hors renderer. Grain: MED/tooling — lane myia-po-2027:CoursIA-2 — prev: MED/notebook-python #13550
jsboige
pushed a commit
that referenced
this pull request
Aug 30, 2026
Add a 5th invariant INLINE_CODE_DRIFT to the translation parity gate (companion to check_translation_parity.py) — measures the loss of inline `...` markdown code-spans between source xxx.ipynb and translation xxx_<lang>.ipynb. Issue #13536 measured firsthand on PR #12850 that the FR->EN translation pipeline silently drops inline code-spans in the rendered notebook : 27 spans lost on medical_chatbot across 7 markdown cells (cell[2]/[8]/[16]/[19]/[26]/[36]) while FT-05-ModelMerging-Routing measured 0 losses. The drops are invisible to check_translation_parity.py because invariant 1/2/3/4 encode byte-identity of code cells and FR/EN identity of full-cell text, but not the structural role of inline code markers within prose. Why a 5th invariant — and why advisory : - A code-span `Kernel` in FR prose is structural, not stylistic : it tells the student 'this token is code, do not translate it'. When the EN rendering flattens it to `Kernel`, several concrete breaks appear (cf issue #13536 body exemplar : ` ` ` Etape 1 ` inside a list item becomes a real H1 at first display). - Advisory by default (--strict-inline-code promotes to blocking) because some legitimate renders translate `code` -> 'code' or *code* by design (the backtick disappears). The flag is opt-in for callers that want the strict gate. Implementation : - extract_inline_code_spans() : GFM-compliant regex (no triple-fence collision, no empty spans, no multi-line spans). - measure_code_span_drift() : set-diff cardinality per paired markdown cell. `lost` and `gained` are independent set-difference cardinalities (a span in both languages is counted in neither). Raw counts are exposed via `src_spans`/`trd_spans` for callers that need duplicates. - _scan_pair() + main() : per-pair JSON output, --strict-inline-code flag, --src/--translation single-pair mode, --repo-root walk with --ignore-dir. Tests (16 added, full translation suite : 354/354 PASS, 0 regression) : - 5 extract_inline_code_spans cases (basic, triple-fence, empty, empty-backticks, multiline). - 4 measure_code_span_drift falsifications (drop single span, drop multi spans across multi cells, EN gains span, set-diff catches FR-only token when raw counts are equal). - 1 nominal-pair passes-drift-zero. - 4 CLI tests (advisory/strict, nominal, requires pair-or-repo). - 2 real-world historical fixtures (medical_chatbot : >=20 spans lost, FT-05 : 0 lost — both measured against the PR #12850 commit 42e8b2d). Skipif-guarded so the suite stays hermetic when fixtures are absent. Closes #13536
jsboige
added a commit
that referenced
this pull request
Aug 30, 2026
Add a 5th invariant INLINE_CODE_DRIFT to the translation parity gate (companion to check_translation_parity.py) — measures the loss of inline `...` markdown code-spans between source xxx.ipynb and translation xxx_<lang>.ipynb. Issue #13536 measured firsthand on PR #12850 that the FR->EN translation pipeline silently drops inline code-spans in the rendered notebook : 27 spans lost on medical_chatbot across 7 markdown cells (cell[2]/[8]/[16]/[19]/[26]/[36]) while FT-05-ModelMerging-Routing measured 0 losses. The drops are invisible to check_translation_parity.py because invariant 1/2/3/4 encode byte-identity of code cells and FR/EN identity of full-cell text, but not the structural role of inline code markers within prose. Why a 5th invariant — and why advisory : - A code-span `Kernel` in FR prose is structural, not stylistic : it tells the student 'this token is code, do not translate it'. When the EN rendering flattens it to `Kernel`, several concrete breaks appear (cf issue #13536 body exemplar : ` ` ` Etape 1 ` inside a list item becomes a real H1 at first display). - Advisory by default (--strict-inline-code promotes to blocking) because some legitimate renders translate `code` -> 'code' or *code* by design (the backtick disappears). The flag is opt-in for callers that want the strict gate. Implementation : - extract_inline_code_spans() : GFM-compliant regex (no triple-fence collision, no empty spans, no multi-line spans). - measure_code_span_drift() : set-diff cardinality per paired markdown cell. `lost` and `gained` are independent set-difference cardinalities (a span in both languages is counted in neither). Raw counts are exposed via `src_spans`/`trd_spans` for callers that need duplicates. - _scan_pair() + main() : per-pair JSON output, --strict-inline-code flag, --src/--translation single-pair mode, --repo-root walk with --ignore-dir. Tests (16 added, full translation suite : 354/354 PASS, 0 regression) : - 5 extract_inline_code_spans cases (basic, triple-fence, empty, empty-backticks, multiline). - 4 measure_code_span_drift falsifications (drop single span, drop multi spans across multi cells, EN gains span, set-diff catches FR-only token when raw counts are equal). - 1 nominal-pair passes-drift-zero. - 4 CLI tests (advisory/strict, nominal, requires pair-or-repo). - 2 real-world historical fixtures (medical_chatbot : >=20 spans lost, FT-05 : 0 lost — both measured against the PR #12850 commit 42e8b2d). Skipif-guarded so the suite stays hermetic when fixtures are absent. Closes #13536 Co-authored-by: myia-po-2027 <po-2027@coursia.lan>
Closed
6 tasks
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
3 participants
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Grain: MED/notebook-python — lane myia-ai-01:CoursIA — prev: (orpheline adoptee)
test