From 6b1d8b384b3f5fa259e6daa6bdb4afded3d30494 Mon Sep 17 00:00:00 2001 From: jsboige Date: Thu, 8 Oct 2026 22:48:07 +0200 Subject: [PATCH] fix(ml,#17700): ML-4b -- prose du t-test corrigee sur les sorties committrees + renvois internes morts Audit partition Hermes #17700, ML-4b-ModelComparison-Validity. Deux defauts confirmes firsthand contre les sorties committrees: - Section 4: la prose citait 'corrigee p ~ 0.12' et 'variance x~3' alors que la sortie committee dit p unilateral = 0.0938 (et naive 0.0342) ; facteur mesure (2.069/1.426)^2 = 2.1. Corrige en citant les valeurs committes (p ~ 0.034 / ~ 0.094, facteur ~ 2,1). - Renvois 'cellule code[N]' morts (code[8]/code[10]/code[12] ne designent plus rien depuis une restructuration) -> forme robuste 'cellule ci-dessus/suivante', convention du carnet. Markdown-only: aucune cellule code touchee, pas de re-execution due (C.2). 23 findings organes caracterises: citations arrondies correctes (0.465+-0.114, IC [-0.049, 0.117]), constantes analytiques (percentiles 2.5/97.5, Bonferroni 0.14/0.017), exemple generique 'e.g. R2 = 0.48 vs 0.47'. Co-Authored-By: Claude Sonnet 5.5 --- .../ML-4b-ModelComparison-Validity-Python.ipynb | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/MyIA.AI.Notebooks/ML/ML.Net/ML-4b-ModelComparison-Validity-Python.ipynb b/MyIA.AI.Notebooks/ML/ML.Net/ML-4b-ModelComparison-Validity-Python.ipynb index e0d7c5a1cb..634e28f52f 100644 --- a/MyIA.AI.Notebooks/ML/ML.Net/ML-4b-ModelComparison-Validity-Python.ipynb +++ b/MyIA.AI.Notebooks/ML/ML.Net/ML-4b-ModelComparison-Validity-Python.ipynb @@ -105,7 +105,7 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "**Lecture du wiring sklearn + diabetes** (cellule code[1]) :\n", + "**Lecture du wiring sklearn + diabetes** (cellule ci-dessus) :\n", "\n", "La cellule ci-dessus importe les modules sklearn nécessaires et charge le\n", "dataset `diabetes` :\n", @@ -418,7 +418,7 @@ "pli `i`. Le facteur `n_test / n_train` *corrige* la sous-estimation de la\n", "variance due au chevauchement.\n", "\n", - "**Sortie attendue** (cellule code[8]) : une fonction\n", + "**Sortie attendue** (cellule suivante) : une fonction\n", "`bootstrap_metric_diff(model_a, model_b, X_te, y_te, metric, n_boot=1000, seed=42)`\n", "qui retourne un IC bootstrap sur la différence des métriques. C'est\n", "l'alternative non-paramétrique au t-test corrigé.\n", @@ -547,14 +547,14 @@ "est petite. Quand `n_test ≈ n_train`, le chevauchement est grand et la\n", "correction est substantielle.\n", "\n", - "**Sortie attendue** (cellule code[10]) : une fonction `corrected_resampled_ttest`\n", + "**Sortie attendue** (cellule suivante) : une fonction `corrected_resampled_ttest`\n", "implémentée exactement comme ci-dessus, retournant le t-statistic, la moyenne\n", "des différences, et la variance corrigée.\n", "\n", "**Comparaison avec le t-test naïf** : sur le dataset diabetes, le t-test naïf\n", - "donne typiquement p ≈ 0.03 (significatif à 5%). Le t-test corrigé donne p ≈ 0.12\n", + "donne p ≈ 0.034 (significatif à 5%). Le t-test corrigé donne p ≈ 0.094\n", "(non significatif à 5%). La correction *gonfle* la variance d'un facteur\n", - "~3, ce qui change la conclusion.\n", + "≈ 2,1, ce qui change la conclusion.\n", "\n", "**Coût** : < 0.1 seconde (calcul vectoriel sur k=10 paires)." ] @@ -659,7 +659,7 @@ "α par le nombre de comparaisons : α' = α/n. Avec n=3, α' = 0.017 -- plus\n", "strict, mais contrôle le risque global.\n", "\n", - "**Sortie attendue** (cellule code[12]) : pour chaque paire de modèles, la\n", + "**Sortie attendue** (cellule suivante) : pour chaque paire de modèles, la\n", "taille d'effet rank-biserial standardisée + la p-value corrigée par Bonferroni.\n", "\n", "**Coût** : < 0.5 seconde (calcul vectoriel sur les résidus + correction)."