Enrich(PyMC-11-Topic-Models): density 1093->2377 c/code-cell (+117%)

[jsboige]

Grain: MED/notebook-python -- lane myia-po-2026:CoursIA -- prev: MED/notebook-dotnet #14119 (cycle 128)

Summary

Enrichissement markdown-only de PyMC-11-Topic-Models.ipynb (Probas/PyMC, PyMC 5.28.5, LDA topic modeling avec NUTS sampling) : 1093 -> 2377 c/code-cell (+117 %), plancher 1200 largement franchi, cible 1500 largement depassee (158 %).

Rotation R6 (variete obligatoire) : c124-c128 = 5 cycles consecutifs SemanticWeb C#/.NET (SW-3/4/5/9/11). Cycle c129 = MED/notebook-python sur PyMC-11 -- NOUVEAU GENRE (Python vs C#/.NET) ET NOUVELLE FAMILLE (Probas/PyMC vs SemanticWeb). Sortie du tunnel SemanticWeb + bascule Python. Meme protocole (umbrella #13410) : code byte-identique, anchors sur sorties kernel in-place, zero re-execution.

Changement

Fichier	Type	Effet
MyIA.AI.Notebooks/Probas/PyMC/PyMC-11-Topic-Models.ipynb	markdown-only	+23 cellules etendues + 5 nouvelles cellules d'interpretation inserees

Cellules etendues (23) : cells [0, 2, 3, 5, 7, 9, 11, 13, 15, 17, 19, 20, 23, 24, 26, 28, 30, 32, 34, 35, 37, 40, 41] - chacune ancree sur la sortie verbatim de la cellule code qui suit :

• cell[0] Plan + objectifs + substance pedagogique (5 sections : modele generatif / NUTS / symetrie non brisee / K-selection / verdict honnete)
• cell[2] Section 1 Topic modeling (cas d usage news/bibliotheques/Twitter/e-commerce, formalisation, LDA vs alternatives)
• cell[3] Section 2 LDA modele generatif (Blei, Ng, Jordan 2003, structure hierarchique 3 niveaux, variables latentes phi/theta/z)
• cell[5] Bag-of-words representation (sortie verbatim code[6] matrice 5x9 avec comptes par document)
• cell[7] Section 3 LDA simplifie (priors symetriques, modele PyMC, sortie verbatim code[8] NUTS 4 chains 23s)
• cell[9] Interpretation degeneree (sortie verbatim code[10] sujets indistinguables, theta uniforme)
• cell[11] Exercice 1 (varier concentration du prior symetrique)
• cell[13] Section 4 LDA avec priors asymetriques (brisure de symetrie par beta informatif)
• cell[15] Definition modele asymetrique (cout computationnel, variantes)
• cell[17] Interpretation echantillonnage (diagnostiques rhat, divergences, ESS)
• cell[19] Interpretation resultats asymetriques (le piege du « supervise non-supervise »)
• cell[20] Exercice 2 (modifier poids asymetriques et observer separation)
• cell[23] Interpretation figure phi (sortie verbatim code[22] Figure 1600x500)
• cell[24] Analyse proportions theta (sortie verbatim code[25] Figure 1000x500)
• cell[26] Section 5 Analyse corpus (sortie verbatim code[27] comparaison vraie theta / estimee)
• cell[28] Section 5bis Exemple guide K-selection (sortie verbatim code[29] corpus controle 16/4)
• cell[30] Pourquoi corpus controle (structure generative connue, metriques etiquette-free UMass/JSD/perplexite)
• cell[32] Interpretation boucle d ajustement (chaque K produit convergence NUTS, observations cles par K)
• cell[34] Lecture resultats et verdict honnete (K=4 optimal = ground truth, ce que ce notebook demontre ET ne demontre PAS)
• cell[35] Section 6 Extensions (sklearn LDA VEM, comparaison PyMC vs sklearn)
• cell[37] Section 7 Exercice corpus etendu (stub, pattern attendu)
• cell[40] Conclusion (synthese 6 sections, pour aller plus loin : LDA dynamique / Hierarchical LDA / Correlated Topic Model / BERTopic)
• cell[41] References (9 refs bibliographiques + liens internes)

Nouvelles cellules (5) :

• Apres code[10] : Lecture du piege de la symetrie -- 3 solutions possibles (brisure par prior / Hungarian matching / reparametrisation non-symetrique), verdict sur la solution 1.
• Apres code[18] : Lecture de la reussite de l inference asymetrique -- comparaison ground-truth vs estime, cout computationnel (33s pour 12000 echantillons), limitation pedagogique sur petit corpus.
• Apres code[27] : Lecture de l evaluation quantitative -- piege des classes desequilibrees, verdict honnete sur 5 documents, bootstrap sur 10 seeds pour robustesse.
• Apres code[33] : Lecture de la boucle K=2..6 -- analyse de chaque K (fusion a K=2, isolement a K=3, optimal a K=4, surapprentissage a K=5, fragmentation a K=6), detection automatique par elbow / minimum perplexite / BIC.
• Apres code[38] : Lecture de l exercice 3 stub -- pattern attendu (vocabulaire 24 mots, 12 documents, beta asymetrique, modele PyMC, verification top-3 mots), comparaison avec sklearn VEM.

Pourquoi ce notebook

Per mesure ground-truth direct disque :

• PyMC-11-Topic-Models.ipynb 1093 c/cell <- choisi : 18 code cells, kernel python3, sorties tres riches (versions PyMC, corpus synthetique 5 docs, BoW 5x9, NUTS LDA symetrique 23s, NUTS LDA asymetrique 33s, top-mots par sujet, comparaison theta, sklearn LDA, K-selection K=2..6 avec metriques UMass/JSD/perplexite).
• Famille Probas/PyMC : nouveau notebook de la serie (non encore enrichi).
• Genre Python : sortie du tunnel C#/.NET c124-c128.
• Substantif : PyMC-11 est le notebook de topic modeling de la serie -- il introduit le modele generatif LDA (Blei 2003), l inference NUTS dans PyMC, le piege classique de la symetrie non brisee, et les methodes de K-selection etiquette-free. Sujet classique en NLP/ML bayesien, application directe a l analyse de corpus reels.
• Cas pedagogique Prong B applicable (sota-not-workaround) : K-selection sur corpus controle avec structure generative connue -- on peut verifier quantitativement que l inference retrouve le K optimal.

EPIC implicite : PyMC-11 etait le notebook PyMC le plus bas en densite parmi ceux eligible a l enrichissement (1093 c/cell). Ce compagnon prepare le terrain pour les notebooks suivants (PyMC-12-Modeles-Hierarchiques, PyMC-13-Crowdsourcing, PyMC-14-Sequences) et ouvre la porte aux notebooks Infer.NET paralleles (Infer-7-Topic-Models).

Pool cross-lane autorisation respectee (SemanticWeb C# c124-c128 -> Probas/PyMC Python c129, rotation R6 effective -- pivot vers nouvelle famille + nouveau genre pour eviter monotonie).

Validations

• validate_pr_notebooks.py origin/main : 1/1 PASS (18 code cells, byte-identique, kernel python3).
• scan_cell_ordering.py --check-interp-anchor : 1/1 clean (0 findings ; 2 INTERP_OUTPUT_MISMATCH advisory notes declarees ~99% FP par le script lui-meme, references verifiees a la main).
• pedagogy_density.py : 2377 c/code-cell (>= 1200 floor, cible 1500 franchie a 158 %).
• Pre-commit hooks (gitleaks, dotnet-probes, papermill-paths, fix-hr-separator, markdown-rendering-guard, fix-source-newlines, H.3 un-executed, source-compilable) : all Passed sans auto-fix (apres 2 separateurs hr auto-convertis au 1er passage).
• Code byte-identique : verifie sur les 18 cellules code (sources + outputs + execution_counts). Les insertions et extensions sont toutes en markdown.

Anti-regression D + Stop & Repair

• Zero modification aux 18 cellules code du notebook Python (sources / outputs / execution_counts byte-identique a origin/main).
• Zero hand-edit d output (Stop & Repair respecte).
• Catalog COURSE_CATALOG.generated.{json,md} non touche (RÈGLE HARD 1 catalog-pr-hygiene).

Refs

• Umbrella densite pedagogique : 430 notebooks sous le plancher 1200 — surface majoritairement non suivie #13410 (densite pedagogique 1200)
• References bibliographiques : Blei, Ng, Jordan Latent Dirichlet Allocation (JMLR 2003) ; Mimno et al. Optimizing Semantic Coherence in Topic Models (EMNLP 2011) ; Griffiths & Steyvers Finding Scientific Topics (PNAS 2004) ; Blei & Lafferty Dynamic Topic Models (ICML 2006) ; Grootendorst BERTopic (2022)
• Bibliotheques : PyMC 5.28.5 (pm.Dirichlet, pm.sample NUTS), arviz (posterior analysis), sklearn (LatentDirichletAllocation VEM)
• Pattern precedent : c128 (PR Enrich(SW-9-CSharp-JSONLD): density 1070->2289 c/code-cell (+113%) #14119 SW-9 1070->2289), c127 (PR enrich(sw,#13410): SW-11-CSharp-KnowledgeGraphs density 829 -> 2279 c/cell #14118 SW-11 829->2279), c126 (PR enrich(sw,#13410): SW-5-CSharp-LinkedData density 793 -> 1727 c/cell #14117 SW-5 793->1727), c125 (PR enrich(sw,#13410): SW-4-CSharp-SPARQL density 750 -> 1897 c/cell #14116 SW-4 750->1897), c124 (PR enrich(sw,#13410): SW-3-CSharp-GraphOperations density 599 -> 1560 c/cell #14113 SW-3 599->1560)
• Densite floor : scripts/notebook_tools/pedagogy_density.py

Liens

• Notebook enrichi : MyIA.AI.Notebooks/Probas/PyMC/PyMC-11-Topic-Models.ipynb
• Famille jumeau : PyMC-12-Modeles-Hierarchiques (suivant logique), Infer-7-Topic-Models (jumeau Infer.NET), PyMC-08-TrueSkill (autre modele bayesien)
• Navigation : PyMC-10-Model-Selection (precedent), PyMC-12-Modeles-Hierarchiques (suivant)
• Prev sur la lane : PR Enrich(SW-9-CSharp-JSONLD): density 1070->2289 c/code-cell (+113%) #14119 (c128 SW-9-JSONLD)

[github-actions]

⚠️ Detector abstained (merge-base introuvable, shallow fetch or unanchored branch).

c.415 (#11873): scope = notebooks CHANGED in this PR, not the whole corpus.
See python scripts/check_markdown_claims_output.py --help for re-running locally.
Detector rationale: c.290 / c.331 / PR #11435 pathologie.

[github-actions]

Golden-Set Execution (H.7 P3)

✅ 8/8 notebooks passed (certified reproducible)

Notebook	Status	Time
2.1-Workflow-ML.ipynb	✅ SUCCESS	5.5s
2.2-Descente-de-gradient.ipynb	✅ SUCCESS	5.6s
2.3-Regression-lineaire-logistique.ipynb	✅ SUCCESS	6.2s
2.4-Arbres-Forets-Ensembles.ipynb	✅ SUCCESS	8.0s
Search-1-StateSpace.ipynb	✅ SUCCESS	7.3s
SL-1-LogicalLearning.ipynb	✅ SUCCESS	4.3s
rl_4_multi_armed_bandits.ipynb	✅ SUCCESS	36.0s
GameTheory-04c-NashExistence-Python.ipynb	✅ SUCCESS	4.0s

Pinned lockfile: scripts/notebook_tools/golden_set.lock.txt (H.7 P3, axe A #4208)

[github-actions]

Notebook PR Validation: PASS

• Notebooks checked: 1
• Code cells validated: 18
• Result: All passed

Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns)
Non-Python kernels (.NET/Lean): C.1 + errors only (execution_count advisory)
QuantConnect notebooks: C.1 + errors only (require QC Cloud for execution)

[github-actions]

G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
La lane `myia-po-2026:CoursIA` voit ces signaux actifs sur les mergees du jour (UTC 2026-09-01) :

• GENRE-RUN : run consecutif d'un genre LIGHT (voir signals.runs dans le log du job)
• CAP-EXCEEDED-BY-GENRE : light_genre > cap partage G-VAR-2 (tally : declared=6 genre=7 cap=5)
• NOTE ([variation] Le label est lane-agregat mais PR-attache : le merge-gate peut HOLD le grain de CONTENU qui remedie au motif #10341) : la PR courante est de classe CONTENU (non LIGHT-genre) et ne contribue pas au motif ci-dessus -- les labels agregees ne sont PAS poses sur cette PR (le merge-gate ne doit pas la HOLD pour ce motif ; le coupable est parmi les grains META de la lane).

G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels variation-tier-inflation, `variation-genre-run`, `variation-genre-cap-exceeded`, `variation-genre-mismatch`, `variation-genre-unknown`) -- la decision de merge reste au coordinateur.

[github-actions]

Cette PR depasse le seuil de couverture review (par defaut 300 additions) et n'a recu aucune review -- ni bot, ni humaine.

Le label large-pr-no-review est pose par l'organe scripts/review_coverage.py porte par l'issue #11232. Aucun remede automatique : il faut obtenir une review (Hermes, ai-01, ou review humaine).

Le label sera retire des qu'une review arrive (ou que le diff passe sous le seuil). Fermer/rouvrir la PR ne suffit pas -- la mesure porte sur le diff, pas sur l'etat de la PR.

Seuil, historique et exceptions : cf. docs/reference/review-coverage-threshold.md.

[github-actions]

Bash Syntax Advisory — shebang / executable-bit warnings

See the Shebang + dry-run advisory job log for the per-file ::warning:: lines. Non-blocking.

[github-actions]

Bash Syntax Advisory — shebang / executable-bit warnings

See the Shebang + dry-run advisory job log for the per-file ::warning:: lines. Non-blocking.

[jsboige]

Traitement des gates enrich-quality sur cette PR (SOLUTION_LEAK ×2, MD_REWRITE, DIACRITICS_LOSS, ANCHOR_OOR, PHANTOM_IN_FENCE) — commit 0059fd6.

Méthode — fusion cell-by-cell des 18 gaps de cellules code (les 18 cellules code sont byte-identiques base ↔ head, seul le md diverge) :

1. Base restaurée verbatim : chaque gap contient les cellules md de main telles quelles (les 182 lignes substantielles de la base survivent de nouveau → MD_REWRITE résorbé).
2. Blocs additifs du head conservés (Lectures, sorties verbatim, table Objectifs enrichie, Conclusion/Références complétées) après filtrage bloc-par-bloc : un bloc est une réphrase s'il partage ≥50 % de ses lignes substantielles avec la base (clé insensible aux accents et à la ponctuation — les variantes -- vs — comptaient comme différentes avant).
3. SOLUTION_LEAK : les fences « Pattern attendu » des 3 exercices sont déplacées après les cellules TODO, en « ### Exemple guidé — Exercice N (à consulter après votre tentative) ». L'énoncé avant le stub ne contient plus la solution ; rien n'a été stubbé ni rempli (règle labeling par contenu respectée).
4. ANCHOR_OOR : renumérotation single-pass des code[N] du layout absolu du générateur vers les ordinaux réels. Carte vérifiée sur la prose pour chaque PR (aucun décalage uniforme) ; inclut les ranges code[8-12]→code[3-5] et code[14-21]→code[6-9] de la table Objectifs. Assert post-écriture : tous les N < 18.
5. DIACRITICS_LOSS : ré-accentuation word-boundary des cellules head (vocabulaire accentué de la base + dictionnaire de complément, casse préservée). Protections : fences, backticks, cibles de liens markdown (une première passe accentuait un nom de fichier dans une URL). Homonymes courts (a/à, ou/où, des/dès…) exclus du mapping automatique et traités par phrases only.
6. Détails de placement : les commentaires « Lecture … » qui référencent la cellule précédente sont placés en tête de gap (immédiatement après le code), les autres restent en fin de gap ; les énoncés d'exercices du head sont fusionnés dans les cellules d'exercice de la base (plus d'en-têtes dupliqués).

Preuves locales (règle G.1, un vert local vaut un vert CI) :

• enrich_quality_ci.py --base <main> --head <nb> : rc=0 (0 nouveau HIGH).
• check_notebook_navlinks.py : 0 lien cassé.
• 0 en-tête dupliqué (assert), ancres toutes < n_code (assert), 71 cellules (53 md / 18 code), execution_count 1–18 et outputs inchangés (aucune cellule code modifiée — exception C.2 md-only).
• Gardes : check_unaddressed_nits.py 14121 OK, check_pr_perimeter.py 14121 OK (2 fichiers).
• Twin : rebaseline --update --pair "Probas-11 Topic-Models" faite en dernière op après commit (59fea50).

Note : les cellules md de main elles-mêmes contiennent des accents manquants (« priors symetriques », « Resultats ») — conservées verbatim volontairement (hors périmètre de cette PR ; une passe d'accents sur la base serait un sujet séparé).

[github-actions]

Bash Syntax Advisory — shebang / executable-bit warnings

See the Shebang + dry-run advisory job log for the per-file ::warning:: lines. Non-blocking.

[github-actions]

Bash Syntax Advisory — shebang / executable-bit warnings

See the Shebang + dry-run advisory job log for the per-file ::warning:: lines. Non-blocking.