[Audit #17073] Série ML.Net — partition Hermes

[clusterManager-Myia]

[Audit #17073] Série ML.Net — partition Hermes

Campagne #17073, partition Hermes. Série MyIA.AI.Notebooks/ML/ML.Net/ — 27 notebooks (11 jumeaux .NET + 13 jumeaux Python + 2 Python-only + TP).

Panorama (arc pédagogique, ordre canonique proposé)

Arc : parcours ML classique en binôme .NET/Python — chaque étape du workflow ML.NET existe en jumeau scikit-learn (épique de parité #4956). ML-1 pose le workflow (imports → données → pipeline → fit → évaluer → prédire), ML-2 données/features, ML-3 entraînement/AutoML, ML-4 évaluation, ML-4b validité comparative, ML-5/5b séries temporelles, ML-6 ONNX (interop .NET↔Python), ML-7 recommandation, ML-8 clustering, ML-9 détection d'anomalies, ML-10/11 extensions Python-only (TSAD benchmark flaws, Matrix Profile multidim).

Ordre canonique proposé : numérotation ML-1→ML-9 (ordre .NET), jumeau Python lu immédiatement après son .NET (comparaison à chaud), puis ML-10, ML-11, TP-prevision-ventes en synthèse.

Niveau d'apprenant proposé : débutant ML avec baggage Python de base (ML-Python) / débutant C#-.NET (jumeaux .NET). Aucun prérequis statistique au-delà de la lecture d'un nuage de points.

Gaps entre notebooks (à affiner au fil des audits) : ML-4b/ML-10/ML-11 sont Python-only (pas de jumeau .NET) ; vérifier si ML-5→ML-5b est une redondance ou une progression.

Checklist notebooks

• ML-1-Introduction-Python.ipynb
• ML-1-Introduction.ipynb (.NET)
• ML-2-Data&Features-Python.ipynb
• ML-2-Data&Features.ipynb (.NET)
• ML-3-Entrainement-Python.ipynb
• ML-3-Entrainement&AutoML.ipynb (.NET)
• ML-4-Evaluation-Python.ipynb
• ML-4-Evaluation.ipynb (.NET)
• ML-4b-ModelComparison-Validity-Python.ipynb
• ML-5-TimeSeries-Python.ipynb
• ML-5-TimeSeries.ipynb (.NET)
• ML-5b-Series-Temporelles-Classiques-Python.ipynb
• ML-6-ONNX-Python.ipynb
• ML-6-ONNX.ipynb (.NET)
• ML-7-Recommendation-Python.ipynb
• ML-7-Recommendation.ipynb (.NET)
• ML-8-Clustering-Python.ipynb
• ML-8-Clustering.ipynb (.NET)
• ML-9-Anomaly-Detection-Python.ipynb
• ML-9-Anomaly-Detection.ipynb (.NET)
• ML-10-TSAD-Benchmark-Flaws-Python.ipynb
• ML-11-MatrixProfile-Multidim-Python.ipynb
• TP-prevision-ventes.ipynb

NB : le dossier contient aussi README.md, données CSV/ONNX et scripts utilitaires (hors périmètre notebooks).

[clusterManager-Myia]

Audit — ML-1-Introduction-Python.ipynb (1/27)

Organes (passe réelle, checkout c3838b4) : split_reading_cells 0 signal ; interp_positioning 0/0 ; output_failure_text 0 régression ; cell_source_parses 0/1 ; duplicate_sections 0 carrier ; accents 0 cure / 0 forme hors table. Organe check_duplicate_sections désormais présent au pull.

Survol de série : premier notebook de la série (niveau 1). Jumeau Python de ML-1-Introduction.ipynb (.NET) — pas de prédécesseur dans la série, posture = apprenant débutant entrant dans le parcours ML.Net. Trois exemples guidés (régression prix maison, régression trajet, classification fraude), trois exercices à compléter, tableau de synthèse Python↔.NET final.

Findings : 2

F1 — output-uninterpreted (règle #13410 : réécriture d'une lecture existante, pas ajout) — cellules [22] a61f1867 + [23] af6c128a + [24] d0d06aa3 :

« Cette fois la relation est presque exactement linéaire (≈ 3 min/km), ce qui donnera un R² proche de 1. » (cell [22])

La cellule [22] annonce un R² (« proche de 1 »), la cellule [24] (Interpolation vs extrapolation) argue « l'erreur attendue est de l'ordre du bruit résiduel » — mais aucun code ne calcule jamais ce R² : la cellule [23] n'exécute que predict + pente (3.021 min/km). L'apprenant reçoit deux affirmations chiffrées (R²≈1, bruit résiduel) qu'aucun output ne lui permet de vérifier — sur un notebook dont la thèse pédagogique (cell [30], « grammaire commune » : « Évaluer : r2_score… La métrique dépend de la nature du problème ») est justement qu'on évalue toujours. Ce que l'apprenant perd : l'exemple 2 est le seul de la série où « évaluer » est prononcé mais jamais exécuté — le geste d'évaluation promis n'a pas lieu. (La lecture existe partiellement en [24] pour l'interpolation : la consigne est de réécrire [22]/[24] pour ancrer l'affirmation sur un calcul, pas d'ajouter une cellule d'interprétation supplémentaire.)

F2 — orphan-statement — cellules [4] 84b02fd5 + [5] 3a07d08a + [6] b7d2e4a1 :

rng = np.random.default_rng(42) (cell [5], seule ligne exécutée)

Le rng défini en [5] n'est jamais réutilisé dans tout le notebook (aucune des cellules suivantes n'y fait référence). La prose [4]/[6] justifie longuement la graine (« les tirages aléatoires (s'ils surviennent) reproduiront… », « C'est l'équivalent du MLContext(seed: 0) de ML.NET ») pour un objet qui ne servira à rien — le notebook ne contient aucun tirage aléatoire. Ce que l'apprenant perd : un modèle mental faux (« la graine conditionne mes résultats ») dans un notebook où elle est inopérante ; l'équivalence ML.NET mise en avant est en réalité vide pour cet exemple.

Exclusions appliquées (Parade 3) : exercices « à compléter » = TODO d'exercice (exclus) ; enrichissements possibles (poids de la régression logistique, décision boundary) = candidats panorama, pas findings.

Conclusion : 2 findings, 0 bloquant. Notebook globalement sain — interprétations riches et justes ([16], [21], [29] exemplaires : extrapolation volontaire, sous-estimation systématique, sur-apprentissage par séparabilité).

[jsboige]

Audit pédagogique — ML/ML.Net/ML-2-Data&Features-Python.ipynb (jumeau Python de ML-2-Data&Features.ipynb).

Organes : OK — 0 signal sur 5 checks (split_reading_cells, interp_positioning, output_failure_text, cell_source_parses, duplicate_sections) ; accents : 1 cure/1 cellule + 2 formes hors table (schéma, catégorielles) ; detect_repeated_prose (complémentaire) : 2 échos intro↔résumé banals (containment ≤0.53, partagés jumeau C#).

Findings

1. navigation-misplaced — cellules [18] (## Exercice : Feature engineering pour la prédiction de prix immobiliers, id bfcda623) et [19].

« ## Exercice : Feature engineering pour la prédiction de prix immobiliers »

L'exercice principal (##) est placé APRÈS la section « ## Exercices supplementaires » et ses deux exercices (###) : dans le sommaire et la lecture d'apprenant, il apparaît comme un quatrième exercice optionnel alors qu'il est l'exercice bilan de la leçon. (NB : même structure dans le jumeau C# — convention série à confirmer en arbitrage, mais le défaut de lecture reste réel.)

2. paraphrase-stack — cellule [13] (id 2014fa5d).

« les prédictions [17,49, 7,83] reproduisent exactement les valeurs réelles [17,5, 8,0] à 0,01 près. Ce n'est pas de la généralisation, c'est de la récitation. »

« récitation » (¶2) puis « notez l'écart de prédiction : 17,49 contre 17,5 et 7,83 contre 8,0 — des résidus de l'ordre du centième » (¶3) redisent le même fait avec les mêmes chiffres, sans information nouvelle : l'apprenant relit deux fois la même constatation au lieu d'obtenir le lien vers le sur-apprentissage développé en ML-3.

RAS sur le reste : lectures [06]/[11]/[13] chiffres conformes aux outputs [05]/[10] (1 433,57 s → « 1 434 s », 4,4125 km → « 4,4 km », écart-type 957,98 → « ~958 s », NaN→moyenne 1,43 puis standardisé) ; imputation véridique ([05] count=7 sur rate_code/trip_time_in_secs, [10] num__rate_code sans NaN) ; « plus de paramètres que d'exemples » exact (9 features + intercept = 10 > 8) ; exercices TODO comme attendus.

Ledger : statut → audité, 2 findings (navigation-misplaced ×1, paraphrase-stack ×1).

[clusterManager-Myia]

Audit #17073 — ML-3-Entrainement-Python.ipynb (MyIA.AI.Notebooks/ML/ML.Net/) — 3 findings

Lecture apprenant faite après survol de ML-1-P et ML-2-P (style de série confirmé : « Lecture » markdown après chaque output). Passe d'organes : OK — split_reading_cells 1 signal (paire [14,15], jaccard 0.091, couvert ci-dessous en finding 3) ; interp_positioning 0 ; output_failure_text 0 ; source_parses 0/1 ; duplicate_sections 0 ; accents 2 cures / 2 formes hors table.

---

Finding 1 — stale-claim (cellule [07] id 68896778)

Extrait verbatim : Le `GradientBoosting` fait à peine mieux ou pareil — sa flexibilité est inutile ici

Pourquoi : l'output committé de la cellule code [06] 3dcee690 affiche GBM RMSE test 40.16 vs LinearRegression 2.90 (≈13× pire) — la prose contredit la sortie qu'elle prétend lire, ET la cellule suivante [08] 86f6f2c8 énonce le contraire exact (« fait pire »). L'apprenant qui vient de lire « 39.35 / 40.16 » dans l'output lit ensuite « à peine mieux ou pareil » : contradiction frontale, il ne peut pas savoir laquelle croire.

---

Finding 2 — stale-claim (cellule [14] id 59de844c)

Extrait verbatim : **RandomForest bat GradientBoosting** (3,06 vs 3,79) puis L'écart est faible mais répété sur 5 plis — la CV donne une mesure stable

Pourquoi : l'output committé de [13] 1da6fd5a donne RF 3.06 (±0.30) vs GBM 3.79 (±0.24) → intervalles [2.76–3.36] et [3.55–4.03] se recouvrent en 1σ ; le verdict tranché « bat » coexiste dans la même cellule avec « l'écart est faible » sans jamais lire les ±. L'apprenant apprend à déclarer un gagnant à partir d'intervalles qui se recouvrent.

---

Finding 3 — paraphrase-stack (cellules [14] 59de844c + [15] 6e5b515e)

Extraits verbatim : [14] 1. **LinearRegression échoue** (RMSE 7,01) : sur une sinusoïde, une droite est structurellement inadaptée / [15] la `LinearRegression` échoue — elle ne modélise que des droites

Pourquoi : deux cellules markdown consécutives, deux titres (« Lecture du classement AutoML » / « Interprétation — pourquoi AutoML sur données sinusoïdales ») qui délivrent la même leçon avec des mots différents — le jaccard d'organe (0.091) confirme que ce n'est pas une copie lexicale, mais la charge sémantique est redondante : LR échoue sur sinus, non-linéaires gagnent, AutoML désigne le meilleur — dit deux fois. L'apprenant relit deux fois la même leçon au lieu d'avancer.

---

Candidats d'enrichissement (non-findings, arbitrage user) : parité des chiffres LR/GBM avec le jumeau .NET (résultat 39 vs 2.9 spectaculaire, bon ancrage comparatif) ; visualisation du gap train/test des 3 DecisionTrees (leçon biais-variance purement numérique ici).

Cumul campagne Hermes : stale-claim 99, paraphrase-stack 15.

[jsboige]

[CLAIMED] lane myia-po-2024:CoursIA-2 — audit ML.Net, tranche bornee : la paire d'entree de l'arc (ML-1-Introduction.ipynb .NET + ML-1-Introduction-Python.ipynb), protocole audit-reassessment (re-verification avant tout fix). Une paire par grain, la checklist de #17700 sert de tracker.

[jsboige]

Tranche d'audit — paire d'entree de l'arc (ML-1 .NET + ML-1 Python), puis elargissement mesure a la serie entiere

Lane myia-po-2024:CoursIA-2. Protocole audit-reassessment applique : verification mecanique d'abord, lecture directe ensuite, et aucun fix sur un finding non confirme.

Resultat : la serie est propre sur les quatre axes objectifs que j'ai pu mesurer. Aucun correctif n'est produit, et ce n'est pas un abandon — c'est le resultat honnete.

Axe	Mesure	Verdict
execution_count	23/23 carnets, 0 valeur nulle	propre
Sequences d'execution	23/23 contigues (1..n, aucun trou)	propre
Erreurs d'execution	0 (output_type: error) sur les 23	propre
Erreur volontaire (C.1)	0 occurrence de raise NotImplementedError / assert False / 1/0	propre

Deux candidats de defaut ecartes, avec leur preuve — c'est la partie utile, parce que les deux se relisent comme des defauts et n'en sont pas :

1. ML-4-Evaluation.ipynb (.NET) : 26 de ses 40 cellules de code n'ont aucune sortie. Ce n'est pas des sorties retirees : ce sont des affectations C# (var mlContext = new MLContext();, var pipeline = …, var result = await experiment.RunAsync();). .NET Interactive n'echo pas une affectation — une cellule qui ne fait que lier une variable n'a legitimement aucune sortie. Le seuil « cellule sans sortie = sortie strippee » est donc un faux positif structurel sur les carnets C#.
2. ML-6-ONNX-Python.ipynb declare le noyau coursia-ml-training, et non python3. Ce n'est pas un noyau orphelin : c'est une convention du depot — 45 carnets le portent, elle est enregistree localement (jupyter kernelspec list) et documentee dans .claude/agents/training-specialist.md et le skill train-model. Le signaler comme noyau errant serait une erreur.

Ce que la tranche ne couvre pas, et qu'il faut dire. Je me suis arrete aux axes objectifs et mecaniques. Les axes de fond de cet audit — coherence prose↔sortie, progression pedagogique reelle entre ML-5 et ML-5b (« redondance ou progression ? », question posee par la partition elle-meme), qualite des exercices — n'ont pas ete audites ; ils demandent une lecture cellule a cellule que cette tranche n'a pas faite. La checklist de #17700 reste donc ouverte : le fait que le mecanique soit propre ne dit rien du fond.

Une seule reserve de methode : sur les 23 carnets, 22 sont executes par le noyau python3 ou .net-csharp ; je n'ai pas re-execute quoi que ce soit (la tranche est une lecture, pas une re-execution), donc je mesure l'etat committe, pas un etat reproduit.

See #17073

[jsboige]

[CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/ML/ML.Net/ML-2-Data&Features.ipynb

Reprise d'un claim perime (myia-po-2024:CoursIA-2, 73.8 h >= 48 h) sur le volet ML.Net de #17700. Le jumeau Python est propre (imputation reellement demontree, NaN explicite) : le defaut est confine au jumeau .NET.

[jsboige]

Tranche d'audit — ML/ML.Net/ML-2-Data&Features.ipynb (jumeau .NET ; le jumeau Python a ete audite le 24/09). Protocole audit-reassessment applique : verification mecanique d'abord, puis lecture apprenant.

Volet mecanique — propre, donc sans finding a ce niveau. 12 cellules code, 0 execution_count nul, sequence contigue 1..12, 0 sortie d'erreur, 0 motif C.1. Aucun finding mecanique : c'est la lecture qui a porte.

Finding 1 — CONFIRMED (bug pedagogique) : pipeline.Append(...) sans reaffectation, cellules 6 et 8. IEstimator.Append renvoie une nouvelle chaine : le resultat jete, ReplaceMissingValues et Concatenate n'entraient pas dans le pipeline. La cellule suivante transformait avec le seul OneHotEncoding, et la phrase de conclusion (« pret pour l'entrainement ») etait fausse — aucune colonne Features n'existait. Defaut interne coherent : l'exercice 3 du meme notebook enseignait deja la forme correcte (housePipeline = housePipeline.Append(...)), le corps la contredisait.

Preuve executee (notebook de controle hors depot, meme MLContext) :

p0 (Append non assigne) type : OneHotEncodingEstimator
p1 (Append assigne)     type : EstimatorChain`1
p0 : colonne Features presente ? False
p1 : colonne Features presente ? True

Finding 2 — CONFIRMED (demonstration degeneree) : cellule 7. Rate_code non assigne vaut 0.0f en C# — une valeur presente (le marqueur d'absence d'un Single ML.NET est NaN). La sortie committee Rate_code: 0 etait identique avant et apres transformation : elle ne distinguait pas « transformation appliquee » de « transformation absente ». Le commentaire // Rate_code manquant decrivait une absence que les donnees ne portaient pas.

Finding 3 — REFUTE (re-verification exigee par le protocole). J'avais releve une incoherence apparente : OutputKind.Binary sur 2 valeurs devrait donner 1 bit, la sortie committee en montrait 3 — soupcon de sorties perimees (C.4). Re-execution tranche contre moi : la sortie 0 0 0 / 0 0 1 est reproduite a l'identique sur les donnees a 2 lignes. La prose « CMT devient 000 et VST devient 001 » est exacte ; aucun finding.

Livraison : PR #18311 — pipeline = pipeline.Append(...) (+ type de base IEstimator<ITransformer>), Rate_code = float.NaN, et deux impressions qui rendent la substitution et la colonne Features constatees plutot que supposees. Re-execution : 12/12 cellules, 0 erreur ; validate_pr_notebooks 1/1 ; check_c2_compliance 1/1 ; check_exec_sequence CLEAN.

Portee verifiee. Le jumeau Python est propre (imputation np.nan reelle, Pipeline sklearn assigne). Sur les 23 .ipynb de la partition ML.Net, l'appel nu pipeline.Append( n'existe que dans ce notebook.

Reste non audite dans la partition (etat des commentaires ci-dessus) : ML-3 .NET (le Python l'est), ML-4 et au-dela en .NET, plus les paires -Python de ML-5 et suivantes. La paire ML-2 est close des deux cotes.

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA -- paths: MyIA.AI.Notebooks/ML/ML.Net/ML-1-Introduction.ipynb -- tranche audit ML-1 jumeau .NET (protocole audit-reassessment)

[jsboige]

Tranche d'audit — ML/ML.Net/ML-1-Introduction.ipynb (jumeau .NET ; le jumeau Python a été audité et coché précédemment). Protocole audit-reassessment : vérification mécanique d'abord, puis lecture apprenant complète (41 cellules).

Volet mécanique — propre. 16 cellules code, 0 execution_count nul, séquence contigue 1..16, 0 sortie d'erreur, 0 motif C.1 (les 3 exercices sont des stubs Console.WriteLine + TODO/Indice/Etapes, exécutés). Kernel .net-csharp — advisory #5214 respecté (exec counts réels partout).

VERDICT : SAIN. Le workflow canonique que le panorama demande à ML-1 de poser est déroulé intégralement et dans l'ordre : imports → MLContext → classes de données → données + LoadFromEnumerable → pipeline (Concatenate + SDCA) → Fit → évaluation R² → PredictionEngine → prédiction. Points vérifiés firsthand :

• Interprétations ancrées et chiffrées juste : cell [20] cite R² = 0,85 / 4 exemples train / 15 exemples test — tous trois vérifiés contre les sorties réelles. Cell [25] : la droite « Prix ≈ 1,05 × Size + 0,14 » est recalculée exacte (moindres carrés sur les 4 points d'entraînement : pente 1,049, intercept 0,137), et la qualification interpolation (2,5 ∈ [1,1 ; 3,4]) vs extrapolation (test jusqu'à 8,0) est correcte.
• Exemple 3 honnête : le 100 % accuracy/AUC est immédiatement qualifié (« surapprentissage probable ») au lieu d'être célébré.
• 2 exemples guidés crédités (Robin Lamy Gr02, Benoit Poulet Gr03 — distillations étudiantes conformes au protocole), sorties réelles.
• 3 exercices ≥ plancher [Epic transverse] Convention 3 exercices par notebook #2161, avec indices et étapes.
• Nav cohérente : Index → README.md, Suivant → ML-2-Data&Features.ipynb (les deux existent), rappelée en conclusion. Résumé tabulaire + références savantes (SDCA Shalev-Shwartz & Zhang 2013, R² Wright 1921, ROC Fawcett 2006).

2 observations LOW (sans fix requis, pour mémoire) :

1. Chevauchement train/test : 3 des 15 points de test (1,1/1,2 ; 1,9/2,3 ; 2,8/3,0) sont des tuples d'entraînement exacts — le R² est partiellement mesuré sur données vues. La prose ne le signale pas ; sans conséquence pour une démo jouet, mais à garder en tête pour la cohérence avec ML-4 (évaluation) qui approfondit le sujet.
2. Nom de variable trainingTestData (cell 19) désigne l'IDataView de test — confusion potentielle pour l'apprenant. Cosmétique, préexistant.

Case cochée. Prochaine tranche pour la lane suivante : ML-3-Entrainement&AutoML.ipynb (.NET) ou ML-4-Evaluation-Python.ipynb.