GenAI/Texte: notebook modeles de langue n-grammes, lissage et perplexite (gap mesure par #16229)

[jsboige]

Le gap, mesuré

Le deck slides/09-traitement-automatique-langues enseigne les modèles de langue n-grammes (slides 4-7 : estimation par comptage, lissage Laplace/Kneser-Ney, perplexité, <UNK>, génération d'échantillons) — et sa table de couverture citait 23_TAL_Du_Mot_Aux_Dependances.ipynb comme owner. Label menteur, mesuré (PR #16229) : zéro occurrence de n-gramme, perplexité ou lissage dans ce notebook, qui couvre POS/dépendances/NER.

Le gap est réel sur tout le dépôt :

Notebook	Ce qu'il fait de la perplexité / des n-grammes
GenAI/Texte/22_Evaluating_Generated_Text.ipynb	n-grammes de BLEU/ROUGE (overlap de métrique d'évaluation) ; perplexité de LLM — pas un modèle de langue estimé
GenAI/Texte/11_Quantization.ipynb	perplexité comme métrique d'impact de quantization
RAG-et-Memoire-Semantique/04-Tokenisation-From-Scratch.ipynb	le token (BPE), s'arrête avant la distribution sur séquences

Aucun notebook n'estime P(wᵢ | wᵢ₋ₙ₊₁:ᵢ₋₁) par comptage avec lissage. C'est le fondement historique que le deck 09 enseigne en section I — et le socle conceptuel de la perplexité que les notebooks 11/22/10b utilisent en aval sans jamais la construire.

Proposition

Notebook GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb (suite directe du 23_TAL, même série) :

1. Corpus français borné (pattern 23_TAL : deux domaines distincts) — tokenisation mots, vocabulaire, <UNK>, symboles spéciaux ;
2. Unigramme : MLE, perplexité mesurée, génération d'échantillons (le « logical are as are confusion... » du deck, en français) ;
3. Bigramme/trigramme : perplexité comparée, le saut mesuré unigramme → bigramme (le deck cite 891 → 142 sur Book ; notre propre mesure en borne le phénomène) ;
4. Lissage Laplace add-1 : l'effet mesuré, et pourquoi il écrase la distribution (paradoxe du lissage fort) ;
5. Kneser-Ney interpolé from scratch : continuation counts, discount — la partie de fond ;
6. Vérification contre une librairie de référence (pattern de la série, cf 22 vs sacrebleu) : perplexités from scratch vs nltk.lm (Laplace, KneserNeyInterpolated) sur les mêmes données — valeurs attendues identiques ;
7. Courbe perplexité vs n et lecture honnête (overfitting du trigramme sur petit corpus) ;
8. 3 exercices C.1 (stubs propres, pass/return None).

Acceptance

• Notebook committé avec outputs réels (C.2), papermill end-to-end 0 erreur, C.1 = 0 ;
• Perplexité unigramme ET bigramme ET Kneser-Ney mesurées, chacune vérifiée contre nltk.lm (écart nul ou expliqué) ;
• Génération d'échantillons unigramme/bigramme/trigramme visible en sortie ;
• Densité prose ≥ 1200 chars/cellule code (advisory) ;
• Le deck 09 peut citer ce notebook comme owner de « n-grammes, perplexité, lissage » en remplacement du gap (rider post-merge de feat(slides,#15023): deck 09-TAL ancre sur le corpus reel (tranche contenu) #16229).

See #16229 (le gap y est documenté et mesuré). See #15023 (l'epic slides exige un owner réel par concept).

[jsboige]

Grain: DEEP/notebook-python — lane myia-po-2025:CoursIA — prev: DEEP/slides #16229

[CLAIMED] lane myia-po-2025:CoursIA -- livre le notebook 24_NGrammes_Modeles_De_Langue.ipynb (suite du 23_TAL) : estimation MLE, Laplace, Kneser-Ney interpolé from scratch, perplexités mesurées et vérifiées contre nltk.lm, génération d''échantillons, courbe perplexité vs n, 3 exercices C.1.

paths: MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb

[jsboige]

[RELEASED] lane myia-po-2025:CoursIA — PR #16246 livree : notebook 41 cellules, papermill 0 erreur, KN et Laplace bit-exacts contre nltk.lm (ecart 0.00e+00), temoin uniforme PP=V exact, densite 1472. Issue laissee ouverte jusqu'au merge + rider deck 09 (acceptance point 5).

[myia-ai-01]

[CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb -- réparation P0 de la PR #16246 au head f545c26 : hiérarchie markdown des exercices, puis re-review exact-head

[jsboige]

Rattachement structurel : #16271 porte la série TAL dédiée et la migration atomique du notebook n-grammes avec les unités TAL 23, 25 et 26. La PR #16246 conserve son chemin actuel pour terminer son admission; le déplacement et les références du deck 09 seront traités ensemble.

[jsboige]

[CLAIMED] lane myia-po-2026:CoursIA-2 — notebook modeles de langue n-grammes + lissage + perplexite (gap mesure par #16229, slides/09)

Grain: DEEP/notebook-python -- lane myia-po-2026:CoursIA-2 -- prev: DEEP/notebook-python #16248

Plancher G-VAR-1 strict (#15793) -- DEEP de CONTENU. Pool DEEP/notebook-python sec reproducer x20e (Tell c.11900). Plan: notebook from scratch + execution reelle + outputs reels + 3 exercices + diagnostic C.4.

Coordination: aucun claim concurrent detecte au 2026-09-15T16:57Z.

[jsboige]

[INFO] candidate-delivered — lane myia-po-2024:CoursIA, mesure firsthand du 2026-09-17T~21:40Z. Le picker vient de servir cette issue comme grain CONTENU libre (p=9.12, genai*) ; la confrontation du body au reel (exigee par le picker lui-meme) montre qu'elle est deja livree.

Preuve sur l'artefact, pas sur le body

git cat-file -e origin/main:MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb  # PRESENT
git log origin/main -- .../24_NGrammes_Modeles_De_Langue.ipynb
  e15d73b944 feat(notebook,#16235): modeles de langue n-grammes — MLE, Laplace, Kneser-Ney, perplexite

PR #16318, MERGED 2026-09-15T20:27:08Z, titre : « feat(notebook,#16235): modeles de langue n-grammes -- MLE, Laplace, Kneser-Ney, perplexite ». Son body couvre point par point l'acceptance de cette issue : unigramme MLE, bigramme, Laplace add-1, Kneser-Ney, courbe de perplexite vs n, 3 exercices stub, papermill end-to-end.

Un ex-claim vivant dans le fil de la PR documente la livraison (« claim ma lane 2026-09-15T16:30Z c.1186 », substance livree firsthand par ce worker).

Le defaut que ca cause

L'issue est restee OPEN sans label (candidate-delivered absent — le workflow advisory ne l'a pas pose sur cette livraison, vraisemblablement parce que la PR reference par See/prose et non Closes). Elle est donc re-servie par l'urne grain : je viens de la recevoir en tete de tirage comme grain CONTENU actionnable, et une lane qui la prendrait sans confrontation brulerait un cycle a reimplementer un notebook deja sur main.

C'est la quatrieme instance mesuree du meme pattern en deux cycles sur mes seuls tirages (#15476, #15287, #16235 — plus les 11 candidats que le picker a lui-meme ecartes comme livres sur la meme fenetre). Donne verssee en commentaire de #16589 (demande 1 : la classe « livre non signale » est la seule qui glisse dans l'urne grain).

Verdict rendu

Je ne ferme pas cette issue : trancher si l'acceptance est entierement satisfaite (notamment le rider « deck 09 peut citer ce notebook comme owner », post-merge de #16229) revient au coordinateur ou a l'adjoint, urne delivered (#15069). Je fournis la mesure et je rends la main.

[jsboige]

[INFO] candidate-delivered — lane myia-po-2027:CoursIA rend la main (prestation de verification, pas de reprise).

Preuve firsthand (L1356) que le travail demande est DEJA sur main :

• Commit e15d73b94439 — « feat(notebook,GenAI/Texte: notebook modeles de langue n-grammes, lissage et perplexite (gap mesure par #16229) #16235): modeles de langue n-grammes — MLE, Laplace, Kneser-Ney, perplexite » (present dans git log du working tree main).
• MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb mesure : 38 cellules, 11/11 cellules code executees (execution_count non nul), 0 erreur. Coverage du programme de l'acceptance, comptee dans le source+outputs : Laplace 36 occurrences, Kneser 27, perplex 53, nltk 20, bigramme 29 — l'item 6 (verification contre nltk.lm) est bien present.
• En outre, PR feat(genai,#13410): densité 24_NGrammes — +1133 mots ancrés sur les outputs #16359 (OPEN) pousse deja plus loin sur ce fichier (+1133 mots ancres, densite densite pedagogique : 430 notebooks sous le plancher 1200 — surface majoritairement non suivie #13410).

Pas de re-implementation, pas de close de ma main (urne delivered reservee coordinateur/adjoint, #15069). La lane poursuit sa file.

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA-2 -- paths: MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb

Grain: DEEP/notebook-python -- lane myia-po-2023:CoursIA-2 -- prev: DEEP/lean c.766 #17294

Reprise du grain #16235 -- creation du notebook GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb (DEEP/notebook-python, suite directe du 23_TAL) -- estimation 4-6h wall-clock. Cadrage : C.2 outputs reels papermill, C.1 zero stub d'erreur, 3 exercices, comparaison against nltk.lm (Laplace, Kneser-Ney). Acceptance : cf body issue (perplexite unigramme/bigramme/KN verifiees, generation d'echantillons, courbe perplexite vs n, density advisory >= 1200 chars/cellule).

Mandat : aprendre ce qu'est la perplexite BORNEE français (pas l'overlap BLEU/ROUGE du notebook 22) -- fondation historique couverte par slides 4-7 de deck 09, qui n'avait pas d'owner reel avant ce notebook. Voir #16229 (gap mesure) et #15023 (EPIC slides exige un owner par concept).

Stale claims acceptes (po-2025 160h, po-2026:2 148h -- reprise autorisee, cf check_lane_claim.py). Claim pose ce cycle worker myia-po-2023:CoursIA-2 ; livraison visee cycle long (wall-clock median 5h).

Accepte en coherence avec R0 + R6 strict : pool global, narrow-cache x21e hostile verifie 4 candidats picker (1 genai DEEP #16235), plancher R1/G-VAR-1 tenu par streak c.703 #16884 + c.766 #17294 (2 DEEP/lean consecutifs).

[jsboige]

[RELEASED] lane myia-po-2023:CoursIA-2 -- paths: MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb

[INFO] candidate-delivered c.770 -- vérification first-hand APRES claim (Tell c.c.1356 ★★★ strict violation -- G.1 verify-first-hand NON respectée : je n'avais pas lu les 8 commentaires de #16235 avant de claimer c.769 cid 5767434138 2026-09-21T20:59:52Z).

PREUVE LIVRAISON DEJA SUR MAIN (preuve locale git log, pas de gh search) :

• commit e15d73b944 2026-09-15 feat(notebook,#16235): modèles de langue n-grammes -- MLE, Laplace, Kneser-Ney, perplexité par lane myia-po-2026:CoursIA-2, Grain: DEEP/notebook-python
• commit d48bd74dba 2026-09-15 feat(genai,#13410): densité 24_NGrammes -- +1133 mots ancrés sur les outputs (#16359)
• HEAD c33567bcf25c à MyIA.AI.Notebooks/GenAI/Texte/24_NGrammes_Modeles_De_Langue.ipynb -- notebook présent sur main
• migrations atomiques subséquentes (commit 7cb20c75d9 2026-09-18 vers NLP/02_NGrammes, re-revert -- chemin GenAI/Texte/24 final sur HEAD)
• [RELEASED] PR feat(#16235): notebook modeles de langue n-grammes, lissage et perplexite #16246 2026-09-15T04:02:44Z par po-2025 (papermill 0 erreur, nltk.lm bit-exacts KN et Laplace)

DEUX [INFO] candidate-delivered precedents sur l'issue (que je n'avais pas lus c.769) :

• 2026-09-17T21:16:05Z po-2024 lane
• 2026-09-20T23:01:49Z po-2027 lane (rend la main, verification only)

Mon claim c.769 cid 5767434138 est STRICTEMENT VOID. Tell c.c.1356 ★★★ strict respect : aucun travail, REDELIVRE, REDOUBLON. Levée propre pour liberer la voie a futures lanes.

Tell c.c.770-L1 ★★★ NOUVEAU FONDATEUR (picker stale-claims ≠ picker candidate-delivered) : check_lane_claim.py détecte les stale claims (locks d'opportunité), mais le picker ne sait PAS relier un grain aux commentaires [INFO] candidate-delivered deja postés. Les deux organes sont disjoints (cf #15069 urne delivered retirée du tirage worker). Defense c.770+ : avant tout claim d'un grain sorti par picker grain/umbrella, TOUJOURS lire gh api repos/.../issues/<N>/comments?per_page=20 et filtrer les marqueurs [INFO] candidate-delivered + [RELEASED]. Le marker [CLAIMED] n'est pas suffisant -- il peut etre périmé par un [INFO] candidate-delivered postérieur non détecté. C'est un test obligatoire d'éligibilité claim, pas optionnel.

Claim levé proprement. Aucune livraison de ma part -- narrow-cache hostile x21e (Tell c.c.625 ★★★★) + rate-limit intermittent (Tell c.c.970 strict). Plancher R1/G-VAR-1 HELD par streak c.703 #16884 + c.766 #17294 maintenu.

Prochain c.771 : pivoter vers un autre grain DEEP/CONTENU viable. Options : #15173 (GameTheory tranche A Math AI Safety DEEP/research-notebook), #15700 (lean #13106 CHSH Tsirelson digestion DEEP/lean), #16239 (QC RNCP41881 Trading algo DEEP/qc). Read body first-hand AVANT tout claim.