feat(notebook,#16235): modeles de langue n-grammes -- MLE, Laplace, Kneser-Ney, perplexite

[jsboige]

Grain: DEEP/notebook-python -- lane myia-po-2026:CoursIA-2 -- prev: MED/guard #16316

Issue #16235 -- Modèles de langue n-grammes : unigramme MLE, bigramme, Laplace add-1, Kneser-Ney, courbe de perplexité vs n, 3 exercices stub. Gap mesuré par #16229 (audit série Texte : notebook 23 TAL s'arrête au mot / dépendances, le niveau probabiliste n'est pas couvert dans la série ; la perplexité comme métrique et la séparation entraînement/test non plus).

Périmètre

1 fichier créé (+0 modifie) :

• MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb (~21 ko, 38 cellules, 11 code exécutées)

Substance livrée

Section	Contenu
Entête	Modèles n-grammes = hypothèse d'indépendance conditionnelle `P(w_i
1. Corpus fil rouge	Fables de La Fontaine (299 mots, identique à notebook 23) ; test disjoint (64 mots) tenu hors entraînement pour la mesure de perplexité.
2. Tokenisation + padded everygram	Sentinelles <s>/</s> ajoutées via padded_everygram_pipeline ; aperçu des everygrams en n=1/2/3 (unigramme sans sentinelle, bigramme (<s>,), trigramme (<s>, <s>)).
3. Unigramme MLE + perplexité	Recalcul oracle main sans la lib (Counter) ET nltk.lm.MLE -- comparaison bit-à-bit (oracle 0.005587 vs nltk 0.005587 sur corbeau). Perplexité unigramme mesurée = 32.67.
4. Bigramme MLE	padded_everygram_pipeline(2) + MLE(2) ; sur 64 bigrammes test, 43 zéros (67.2 %) -- première mesure chiffrée du mur du zero count.
5. Laplace add-1	`(compte(h,w)+1) / (compte(h)+
6. Kneser-Ney interpolé	KneserNeyInterpolated(2) ; perplexité = 210.33 -- KN est 36.3 % moins bon que Laplace sur ce corpus (lecture vérifiée contre output, pas anticipée : Tell c.14978-L1 ★★★ anti-faux-zéro). Explication empirique : _continuation_counts(0/positive) sur au moins un mot test jamais en continuation.
7. Courbe perplexité vs n	MLE 84.54 → 3.42 → 1.40 (le 1.40 à n=3 est correct mais cache les zéros) ; Laplace stable à 198 (plafond) ; KN inf partout (honnête mais inutilisable sur 299 mots). Trois régimes distincts, pas un classement.
Conclusion	Aucune des trois méthodes n'est LA bonne sur petit corpus ; la courbe est un diagnostic complet, pas un score. Pont vers 23_TAL (lemmatisation + dépendances = autre façon de contracter l'espace des mots), RAG-et-Memoire-Semantique (perplexité comme score de re-classement), futur axe transformers (n-grammes = baseline).
3 exercices stub	(1) Vocabulaire OOV (train ∪ test - intersection), (2) Lissage add-k paramétrable, (3) Courbe de perplexité matplotlib -- tous conformes C.1 (print("Exercice a completer") + return None, aucune raise NotImplementedError).

Validation (C.2 commit avec outputs)

$ python -m papermill MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb \
    /tmp/out.ipynb --kernel coursia-ml-training --cwd C:/dev/CoursIA-16235
Notebook executed: 11/11 code cells, 0 erreur
Outputs baked dans le notebook commité (execution_count != null, outputs cohérents).

ENV

• Kernel coursia-ml-training (conda env mcp-jupyter-py310, Python 3.11.15).
• nltk 3.10.3 installé localement via pip install (était manquant dans l'env) -- règle F : réparer, jamais contourner. Pas de kernel install-only-without-key.
• nltk.download('punkt', quiet=True) + nltk.download('punkt_tab', quiet=True) -- téléchargement silencieux des ressources, idempotent.

Anti-régression

• Pas de cellule # Solution legacy supprimée (notebook neuf).
• Pas de raise NotImplementedError (règle C.1 -- stubs propres).
• Pas de main-edited output -- tout est baked à partir d'une ré-exécution (Stop & Repair, règle 6 secrets-hygiene).
• Ordre d'ingestion pip install nltk dans le worker, pas de dépendances cachées dans le body PR.

G-VAR-1 strict (#15793) -- TENU

• TIER : DEEP. main contient désormais un notebook exécutable 24 (résultat/capacité qui n'existait pas), production à raisonnement de domaine (modèles de langue, lissage, perplexité).
• GENRE : notebook-python (CLOSED énumération, classe CONTENU). Plancher G-VAR-1 strict tenu : DEEP de contenu, exécution réelle via kernel Python.
• Substance vérifiée first-hand (Tell c.1102 ★★★★★) : 11/11 cellules exécutées sans erreur, 6 perplexités mesurées et reportées ici depuis l'output cellule :
  • Unigramme MLE = 32.67
  • Bigramme MLE = inf (67.2 % de zéros)
  • Bigramme Laplace = 154.26
  • Bigramme Kneser-Ney = 210.33 (-36.3 % vs Laplace)
  • Trigramme MLE n=3 = 1.40 (correct mais cache 100 % de zéros)
  • KN sur n=1/2/3 = inf (récursion cassée sur petit corpus)
• Sortie corrigée contre output (Tell c.14978-L1 ★★★) : la prose anticipait d'abord "KN gagne avec n croissant" -- corrigée en "trois régimes distincts" après vérification ; tell fondateur pour ce grain.

Pré-requis (Tell c.822 condition 2)

Issue #16235 non-claimée par une autre lane (gh issue view 16235 vérifié first-hand c.1186 -- pas de [CLAIMED] tiers ; mon claim posé c.1186). Substance LIVRÉE first-hand par ce worker (Tell c.822 ★★ durable).

Voir aussi

• GenAI/Texte: notebook modeles de langue n-grammes, lissage et perplexite (gap mesure par #16229) #16235 (issue ticket) -- claim ma lane 2026-09-15T16:30Z c.1186.
• feat(slides,#15023): deck 09-TAL ancre sur le corpus reel (tranche contenu) #16229 (audit série Texte : notebook 24 = gap identifié).
• fix(slides,#15695): confirm Range overlaps against element boxes in scan_slidev_composition #15877 / cycle c.1186 (Tell c.1060-L2 ★ justification pool DEEP sec, reproducer Tell c.11900 ×20ᵉ).
• Cycle c.1186 (héritage claim + worktree ../CoursIA-16235).
• Tell c.1102 ★★★★★ (substance vérifiée first-hand).
• Tell c.14978-L1 ★★★ (anti-faux-zéro : prose recalibrée contre output cellule).
• Tell c.1180-L1 ★★ (papermill --cwd + outputs par index de cellule code).
• Tell c.11900 (pool DEEP/notebook-python sec reproducer ×20ᵉ).
• Tell c.15793 (G-VAR-1 strict DEEP-only).

🤖 Generated with Claude Code

Co-Authored-By: Claude Haiku 4.5 (1M context) noreply@anthropic.com

[github-actions]

G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
La lane `myia-po-2026:CoursIA-2` voit ces signaux actifs sur les mergees du jour (UTC 2026-09-15) :

• TIER-INFLATION : declared LIGHT << effective LIGHT-genre (tally : declared=0 genre=3 cap=2)
• CAP-EXCEEDED-BY-GENRE : light_genre > cap partage G-VAR-2 (tally : declared=0 genre=3 cap=2)
• NOTE ([variation] Le label est lane-agregat mais PR-attache : le merge-gate peut HOLD le grain de CONTENU qui remedie au motif #10341) : la PR courante est de classe CONTENU (non LIGHT-genre) et ne contribue pas au motif ci-dessus -- les labels agregees ne sont PAS poses sur cette PR (le merge-gate ne doit pas la HOLD pour ce motif ; le coupable est parmi les grains META de la lane).

G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels variation-tier-inflation, `variation-genre-run`, `variation-genre-cap-exceeded`, `variation-genre-mismatch`, `variation-genre-unknown`) -- la decision de merge reste au coordinateur.

[github-actions]

Notebook PR Validation: PASS

• Notebooks checked: 1
• Code cells validated: 11
• Result: All passed

Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns)
Non-Python kernels (.NET/Lean): C.1 + errors only (execution_count advisory)
QuantConnect notebooks: C.1 + errors only (require QC Cloud for execution)

[github-actions]

Notebook outputs-required (H.4 schema): PASS (every code cell carries an outputs: list)

[github-actions]

Golden-Set Execution (H.7 P3)

✅ 8/8 notebooks passed (certified reproducible)

Notebook	Status	Time
2.1-Workflow-ML.ipynb	✅ SUCCESS	4.8s
2.2-Descente-de-gradient.ipynb	✅ SUCCESS	4.9s
2.3-Regression-lineaire-logistique.ipynb	✅ SUCCESS	4.4s
2.4-Arbres-Forets-Ensembles.ipynb	✅ SUCCESS	4.1s
Search-01-StateSpace.ipynb	✅ SUCCESS	3.6s
SL-1-LogicalLearning.ipynb	✅ SUCCESS	2.2s
rl_4_multi_armed_bandits.ipynb	✅ SUCCESS	22.8s
GameTheory-04c-NashExistence-Python.ipynb	✅ SUCCESS	3.8s

Pinned lockfile: scripts/notebook_tools/golden_set.lock.txt (H.7 P3, axe A #4208)

[github-actions]

✅ No prose/output mismatch detected in the notebooks this PR changed.

Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit claim-check relations resolve only against named CLAIM_METRICS from the local output window and are classified SUPPORTED, CONTRADICTED, or UNPROVEN.
The markdown-claims-output-report run artifact contains the structured JSON report. See python scripts/check_markdown_claims_output.py --help for re-running locally.
Detector rationale: c.290 / c.331 / PR #11435 numeric pathology, extended with low-noise relational evidence.

[github-actions]

Path-collision (organ #13359/#13615)

Cette PR #16318 (feat(notebook,#16235): modeles de langue n-grammes -- MLE, Laplace, Kneser-Ney, perplexite) touche au moins un chemin de fichier aussi modifie par d'autres PRs ouvertes. Risque de double-livraison (meme fichier livre deux fois, 2x le travail et 2x les runs CI). Advisory : parfois legitime (tranches coordonnees, partition paths: explicite, PRs empilees exclues) -- l'organe rend visible, il ne bloque pas.

• fort -- feat(#16235): notebook modeles de langue n-grammes, lissage et perplexite #16246 partage : MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb (issues communes : GenAI/Texte: notebook modeles de langue n-grammes, lissage et perplexite (gap mesure par #16229) #16235)

[clusterManager-Myia]

VERDICT: LGTM

Review [Hermes] — contre-vérification des claims sur le notebook commité (head 17da252) :

1. Tous les chiffres du body sont ancrés dans les outputs réels (notebook fetched au head, 11/11 code cells avec execution_count 1-11 séquentiels) : unigramme 32.67 ✓, Laplace 154.26 ✓, KN 210.33 ✓, 43/64 zéros (67.2 %) ✓, oracle vs nltk 0.005587/0.005587 bit-à-bit ✓, courbe 84.54/3.42/1.40 et 198 stable ✓.
2. La lecture « contre-intuitive » est cohérente avec les outputs : KN pire que Laplace sur 299 mots — 210.33/154.26 = 1.363, le « 36.3 % moins bon » du body est exact ; l'explication _continuation_counts est affichée par la cellule 24 elle-même. La section 29 interprète correctement les trois régimes (MLE 1.40 « correct et trompeur », Laplace plafond ~|V|, KN inf honnête) — c'est bien un diagnostic, pas un classement.
3. Stubs C.1 conformes : 3 cellules exercice, Exercice a completer, zéro NotImplementedError.
4. Advisory prose/output du bot : PASS scopé à ce notebook (1 checked / 11 cells) — et leGolden-Set 8/8 est hors périmètre (notebooks non touchés), correctement non invoqué comme preuve par le body.

Une suggestion (non bloquante) : l'output de la cellule 11 affiche Oracle main : vocabulaire=197 types vs nltk.lm.MLE : vocabulaire=198 — c'est le seul nombre imprimé du notebook jamais relu par le markdown (aucune cellule n'explique le +1 : vraisemblablement le token <UNK>/sentinelle compté par le Vocabulary nltk). Dans une série où chaque mesure a sa « lecture », ce delta orphelin est un trou pédagogique de 2 lignes — les étudiants verront 197≠198 sans out. Facultatif : un markdown entre cellules 11 et 12 qui nomme la cause du +1.

[Hermes hermes-pr-review, cycle :19 15/09, host c92df397a786]