[Epic] Compression : sous-serie pedagogique par plis (format Origami) avec codecs et MDL, jumeau Python/Lean, greffe M9 Epita non-choisi (refs OpenZL 2026-09-29 + PivCo-Huffman + sujet M9 + ICT-17b) #18706

Rattaché à #5081

État mesuré au 2026-10-12 (lane myia-po-2025:CoursIA, tapis roulant #18832). Le paragraphe ci-dessous est périmé sur un point : le Pli 2 n'est plus « attendu d'ai-01 » — il est déployé et en cours de livraison. Mesuré firsthand : sous-issue #20394 ouverte (« [Compression] Pli 2 : Compression-02 Huffman canonique et tables de décodage ») et PR #20399 OPEN (lane myia-po-2027:CoursIA-2, 922+/1-) sur MyIA.AI.Notebooks/Compression/Compression-02-HuffmanCanonique-Python.ipynb. Ce qui change pour un lecteur : l'EPIC n'a plus de grain libre au Pli 2 ; le prochain est le Pli 3 (Compression-03-LZ77), à déplier après le merge de #20399. Portée de ce qui n'a pas été vérifié : la conformité du carnet de #20399 aux décisions D1-D8 n'est pas mesurée ici, et l'état des plis 3 à 10 reste celui du corps ci-dessous. L'historique est conservé intact en dessous.

État mesuré au 2026-10-05 (lane myia-po-2025:CoursIA-2, consolidation #13906). Pli 1 LIVRÉ : #18729 (mergée 02/10) pose Compression-01-ShannonFano-Prefixe-Python.ipynb + le README de la sous-série sur main. Mais le pli 2 n'est pas déplié : le dernier commentaire de l'EPIC reste l'arbitrage D1-D8 du 01/10 (antérieur au merge du pli 1), aucun commentaire [PLI 2 DÉPLIÉ], aucune sous-issue Compression ouverte au-delà de l'EPIC. Même verrou séquentiel que #18605/#18783 : le format Origami ne progresse que par dépliage coordinateur à complétion vérifiée du pli précédent — la complétion est là (pli 1 mergé depuis 02/10), le dépliage est attendu d'ai-01.

Front actuel : dépliage du pli 2 (Compression-02, Huffman, source R-pivco) par commentaire [PLI 2 DÉPLIÉ] créant la sous-issue. Portée non vérifiée : conformité du carnet livré aux décisions D1-D8 (non mesurée ici). EPIC vivante, gelée sur le coordinateur, non fermable.

Grain: DEEP/curriculum — lane myia-po-2026:CoursIA-2 — prev: MED/lean #18615

Mission user 2026-10-01 : prolonger le geste de #18220 (EPIC origami lacunes pédagogiques, pli 2/3 « contenus confirmés absents ») et du namespace Origami du mainteneur (#18204 système 1, #18205 Lean Poincaré, #18605 NeRF/Fourier/IMM/TVM) par un EPIC origami dédié à une sous-série pédagogique Compression, calquée sur le modèle de la série MyIA.AI.Notebooks/Complexity/ (9 notebooks, accréation b/c, trois niveaux Découverte/Licence/Recherche, encart Mathlib gap pour la branche Lean).

Convention de nommage : Origami est le format de l'Epic (déploiement par plis séquentiels — sous-issues créées à complétion du pli précédent, voir #18220 et #18605 pour le patron canonique), pas le nom de la sous-série. La sous-série pédagogique s'appelle Compression, le dossier sera MyIA.AI.Notebooks/Compression/, les notebooks Compression-NN-... et Compression-NNb-....

Sources first-hand lues : OpenZL blog 2026-09-29, PivCo-Huffman paper v1.0 (Żukowski 2026-06-04, arXiv 2606.05765), upstream MyIntelligenceAgency/Lean MyIA.Trading.Converter/, ICT-17b-Grokking-CompressionProgress.ipynb, 7 notebooks 3.9*Compression* ML existants, dépôt étudiant Epita 2026 (sujet M9 « compresseur neuro-symbolique » 5/5, jamais choisi par les groupes).

Format Origami — déploiement par plis séquentiels

Le format Origami (cf. #18220 umbrella, #18605 NeRF/Fourier) est un mode de déploiement d'Epic où les sous-issues ne sont PAS créées d'un coup : elles sont déverrouillées par le coordinateur à complétion vérifiée du pli précédent. Mécanisme canonique :

• Pli N porte dans sa posture un long descriptif (livrable, sources, pré-conditions, verdict SOTA attendu) sans sous-issue.
• À merge du pli N (vérification firsthand du coordinateur), le coordinateur déplie le pli N+1 par un commentaire [PLI N+1 DÉPLIÉ] qui liste les sous-issues créées.
• Rien n'est créé d'avance : le coordinateur évite ainsi de saturer le pool d'issues avec des promesses non-tenues, et chaque pli reste lisible en isolation.

Pour cet Epic : un pli = un notebook (Compression-PLAzure 01, 02, ..., 06b). Les accrétions (b/c) sont soit dans le même pli que le notebook parent, soit dans un pli ultérieur selon la dépendance pédagogique.

Sources first-hand (vérifiées)

État mesuré du matériel existant

1. CompressionHelper.cs (port verbatim local, commit e7c1282813 + ca71ae5c87 + 0e80a17cd2) — 538 lignes, 88 formats in / 6 formats out / 15 algorithmes / 3 backends. Pas de fichier de tests ni de benchmark dédié dans CoursIA — seulement les redevances Lzma/Zstd/Deflate déjà mesurées dans MyIA.Trading.Converter/README.md ligne 91 sur eurusd daily/hourly.
2. 7z-x64.dll + 7z-x86.dll — DLLs natives 7z.dll d'Igor Pavlov, version pinnée #1.0.14 (commit cb9d877b6 roo-extensions submodule, dépendance NuGet SevenZipExtractor 1.0.15 du fork MyIntelligenceAgency/Lean). Le port CoursIA est sur une version 2022-2023 — à mettre à jour vers la dernière 7z.dll de la distribution 7-Zip moderne (Igor Pavlov ≥23.x), qui inclut des codecs étendus absents de la version pinnée : Lizard, Lz5, Flzma2, Lz4, Zstd, Brotli. Ces codecs sont rapides en compressant moins (compromis vitesse/taux de compression délibéré) — Flzma2 = Fast LZMA2, Lz4 = débit Mo/s très élevé au prix d'un taux réduit, Lizard/Lz5 = variantesLZ4 plus agressives en ratio. L'Epic mandate la migration vers la distribution 7-Zip moderne (codecs étendus), pas le maintien de la version pinnée.
3. ICT-17b — K multidimensionnel, pli de Thom proxy-dépendant, jonction ICT-18 σ(t) et B(t) = double INCONCLUSIF. Le len(zlib.compress(x)) EST la mesure de compressibilité qu'ICT-17b utilise déjà — c'est l'ancre de Compression-06.
4. Notebooks 3.9-* — Quantization INT8, Pruning from-scratch, Distillation, etc. Compression modèle (réseaux de neurones). Greffe Compression-05 = vue d'ensemble + section « voir aussi Compression-05 » dans leur README (compromis, cf. D3 décisions ouvertes).
5. ICT-46 Strate 7 freebits Aaronson — cousin épistémologique (limites d'un prédicteur bayésien face à l'inconnu structurel), pas compression.
6. Namespace Epic origami existant (le format) — #18204 (système 1), #18205 (Lean Poincaré), #18220 (umbrella lacunes pédagogiques), #18605 (NeRF/Fourier). Cet Epic Compression suit leur format Origami pour une discipline spécifique.
7. Sujets compression existants non-Epic — #16060 [ML/Compression], #16774 histoire de l'art, #16759/#16775 Schmidhuber curation. La sous-série Compression n'est en collision avec aucun — c'est une série pédagogique structurée qui les couvre.

Proposition de structure pédagogique MyIA.AI.Notebooks/Compression/ — 6 notebooks principaux + 5 accrétions

Numérotation alignée Complexity (01-06), format Compression-NN-Titre-Python.ipynb (noyau Python) ou Compression-NNb-Titre-Lean.ipynb (branche Lean), lettre collée au numéro (b/c), trois niveaux Découverte/Licence/Recherche, encart Mathlib gap pour la branche Lean, ≥3 exercices par notebook.

Pli 1 — Socle Découverte (notebooks 01-02)

Pli 2 — Licence (notebooks 03-04)

Pli 3 — Recherche (notebooks 05-06)

Tableau récapitulatif

MyIA.AI.Notebooks/Compression/
├── README.md                                            # index série (parcours 01→06, niveau par notebook)
├── Compression-01-ShannonFano-Prefixe-Python.ipynb      # Découverte
├── Compression-02-HuffmanCanonique-Python.ipynb         # Découverte
├── Compression-03-LZ77-Python.ipynb                     # Licence
├── Compression-03b-LZMA-LZMA2-Python.ipynb              # Recherche (approfondissement 03)
├── Compression-04-ANS-Python.ipynb                      # Licence
├── Compression-04b-CodecsSOTA-OpenZL-PivCo-Python.ipynb  # Recherche (approfondissement 04)
├── Compression-05-MLCompression-Python.ipynb            # Licence (greffe 3.9-*)
├── Compression-05b-NeuroSymbolic-M9Recipe-Python.ipynb  # Recherche (= sujet M9 Epita non-choisi)
├── Compression-06-MDL-Kolmogorov-Python.ipynb           # Licence (greffe ICT-17b + 6 formats CompressionHelper)
└── Compression-06b-MDLKolmogorov-Lean.ipynb             # Recherche (jumeau Lean, encart Mathlib gap)

11 notebooks au total (6 principaux + 5 accrétions). Le ratio accrétion/notebook = 5/11 = 45 %, comparable à Complexity (5/9 = 56 %).

Libs candidates pour la série Compression (vérifiées NuGet 2026-10-01)

Justification pédagogique du choix Squid-Box.SevenZipSharp : (1) actif (dernière release 2025), (2) licence LGPL-3.0 compatible avec distribution CoursIA (vérifier auprès du mainteneur), (3) wrappe n'importe quelle 7z.dll compatible (pas de couplage fort avec une version précise), (4) supporte explicitement les codecs modernes Lizard/Lz5/Flzma2 que la 7z.dll pinnée 1.0.14 ne contient pas. C'est précisément la distribution étendue dont le user parle : codecs rapides-compressant-peu disponibles sans nécessiter une 7z.dll exotique.

Distribution 7-Zip moderne (Igor Pavlov ≥23.x) : la 7z.dll livrée par ces packages est la distribution officielle Igor Pavlov récente, qui contient nativement Lz4 (depuis 21.07+), Zstd (depuis 22.01+), Brotli (depuis 21.07+), Lizard/Lz5 (depuis 23.02+), Flzma2 (Fast LZMA2). C'est la même que celle que les packages NuGet ci-dessus wrappent.

Ponts inter-séries (à expliciter dans chaque notebook)

Particularité forte : Compression est la seule série du dépôt qui s'appuie explicitement sur MyIA.Trading.Converter/CompressionHelper.cs comme banc de mesure — pas seulement comme outil interne. Le port verbatim upstream devient un instrument pédagogique réutilisé.

Estimation de l'effort

Total estimé : 43-56 j-homme pour la série complète. C'est substantiel mais raisonnable (Complexity série a livré 9 notebooks en ~3 mois selon l'historique git visible dans le README de série).

Décisions ouvertes (à arbitrer avant ouverture des sous-issues — déploiement par plis)

Plan de déploiement par plis (format Origami — séquentiel, après arbitrage D1-D7)

Pli 0 — cette issue Epic : décrire la sous-série Compression + décisions D1-D8 + estimation. Sign-off user sur D1-D7.

Pli 1 — Compression-01-ShannonFano-Prefixe-Python.ipynb : socle Découverte, premier pli. Pas de pré-condition. À déplier à l'arbitrage user.

Pli 2 — Compression-02-HuffmanCanonique-Python.ipynb : suite Découverte. Pré-condition : Pli 1 livré.

Pli 3 — Compression-03-LZ77-Python.ipynb : entrée Licence. Pré-condition : Pli 2 livré.

Pli 4 — Compression-03b-LZMA-LZMA2-Python.ipynb : accrétion 03. Pré-condition : Pli 3 livré.

Pli 5 — Compression-04-ANS-Python.ipynb : Licence. Pré-condition : Pli 3 livré.

Pli 6 — Compression-04b-CodecsSOTA-OpenZL-PivCo-Python.ipynb : accrétion 04. Pré-condition : Pli 5 livré.

Pli 7 — Compression-05-MLCompression-Python.ipynb : Licence (greffe 3.9-*). Pré-condition : Pli 3 livré (pont ICT-17b zlib).

Pli 8 — Compression-05b-NeuroSymbolic-M9Recipe-Python.ipynb : accrétion 05. Pré-condition : Pli 7 livré.

Pli 9 — Compression-06-MDL-Kolmogorov-Python.ipynb : Licence (greffe ICT-17b + 6 formats CompressionHelper). Pré-condition : Pli 2 livré (triade K).

Pli 10 — Compression-06b-MDLKolmogorov-Lean.ipynb : accrétion 06 Lean. Pré-condition : Pli 9 livré.

Pli final — feature/compression-readme : tableau de progression + parcours + position dans le dépôt (calque exact du README Complexity). Pré-condition : tous les plis principaux livrés.

Mécanisme de dépliage : à merge de chaque pli, le coordinateur crée le pli N+1 par un commentaire [PLI N+1 DÉPLIÉ] listant la nouvelle sous-issue. Rien n'est créé d'avance.

Risques identifiés

Conformité avec les règles du dépôt

• CLAUDE.md §A (Coordination & Git) : aucun push direct sur main, branches feature/compression-NN, coordinateur merge. ✓
• CLAUDE.md §C (Notebooks) : pas d'erreur volontaire, committés AVEC outputs, scope strict re-exec. ✓
• .claude/rules/notebook-conventions.md : 3 exercices par notebook, encart Mathlib pour -Lean, kernel lean4-wsl ou WSL pour Compression-06b. ✓
• .claude/rules/notebook-accretion-numbering.md : lettre collée au numéro (03b, 03c), préfixe de noyau obligatoire, norme e-f maximum respectée (max lettre = f sur la branche 06 avec 06b). ✓
• .claude/rules/three-exercises-per-notebook.md : ≥3 exercices, classification par contenu. ✓
• .claude/rules/sota-not-workaround.md : vrais outils SOTA (OpenZL 0.3.0, PivCo-Huffman, Zstd 1.5+), pas de stub. ✓
• .claude/rules/anti-regression.md : CompressionHelper.cs réutilisé sans modification (règle 4 étapes respectée). ✓
• harness-hygiene.md : ce Epic est dans une issue GitHub (visible user), pas commité dans le repo. ✓
• audit-cross-source-distillation.md : la sortie d'un audit éventuel irait au dashboard RooSync, pas dans le repo. Pour Compression, audit = comparer chaque notebook à sa source first-hand (R-openzl blog, R-pivco paper, R-ict17b, R-m9-epita description). ✓

Sources citées (récap)

• OpenZL blog 2026-09-29 LZ in OpenZL : https://openzl.org/blog/2026-09-29-lz-in-openzl/
• PivCo-Huffman paper v1.0 (Żukowski, 2026-06-04, arXiv 2606.05765) : https://marcinzukowski.github.io/pivco-huffman/paper-1.0/ph.html
• Upstream MyIntelligenceAgency/Lean MyIA.Trading.Converter/ : https://github.com/MyIntelligenceAgency/Lean/tree/master/MyIA.Trading.Converter
• Dépôt étudiant Epita 2026 (sujet M9) : https://github.com/jsboigeEpita/2026-Epita-Intelligence-Symbolique/
• MyIA.Trading.Converter/CompressionHelper.cs (port verbatim local) : 538 lignes, commits e7c1282813 + ca71ae5c87 + 0e80a17cd2
• MyIA.AI.Notebooks/IIT/ICT-Series/ICT-17b-Grokking-CompressionProgress.ipynb (Schmidhuber compression-progress, issue [Epic] - IIT → ICT : trajectoires intégrées, morphogenèse minimale et émergence multi-échelle #4588)
• MyIA.AI.Notebooks/ML/DataScienceWithAgents/03-DeepLearning/3.9*Compression*.ipynb (7 notebooks ML)
• MyIA.AI.Notebooks/Complexity/README.md (modèle pédagogique)
• MyIA.Trading.Converter/README.md (port + benchmarks Lzma/Zstd/Deflate)
• Format Origami : issues EPIC origami : modèles de décision « système 1 » — du relevé de l'index de décision à l'usage dans notre CI #18204, EPIC origami : géométrie différentielle en Lean — conjecture de Poincaré et flot de Ricci, par dépendance au dépôt amont #18205, EPIC origami : lacunes pédagogiques vérifiées — dispositifs pour l'apprenant d'abord, puis contenus confirmés absents #18220, Epic origami — NeRF / Fourier features / learnit / IMM / TVM / FGD-adaptatif #18605

État : Epic Compression ouvert, format Origami confirmé (déploiement par plis séquentiels). 8 décisions ouvertes (D1-D8) en attente d'arbitrage user. Aucun pli n'est créé avant l'arbitrage D1-D7.