Skip to content

fix(ml,#17700): ML-4b -- prose du t-test alignee sur les sorties commitees + renvois internes reparable #19986

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
myia-ai-01 merged 1 commit into from
Oct 9, 2026
Merged

fix(ml,#17700): ML-4b -- prose du t-test alignee sur les sorties commitees + renvois internes reparable #19986

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 6 additions & 6 deletions MyIA.AI.Notebooks/ML/ML.Net/ML-4b-ModelComparison-Validity-Python.ipynb
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -105,7 +105,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"**Lecture du wiring sklearn + diabetes** (cellule code[1]) :\n",
"**Lecture du wiring sklearn + diabetes** (cellule ci-dessus) :\n",
"\n",
"La cellule ci-dessus importe les modules sklearn nécessaires et charge le\n",
"dataset `diabetes` :\n",
Expand Down Expand Up @@ -418,7 +418,7 @@
"pli `i`. Le facteur `n_test / n_train` *corrige* la sous-estimation de la\n",
"variance due au chevauchement.\n",
"\n",
"**Sortie attendue** (cellule code[8]) : une fonction\n",
"**Sortie attendue** (cellule suivante) : une fonction\n",
"`bootstrap_metric_diff(model_a, model_b, X_te, y_te, metric, n_boot=1000, seed=42)`\n",
"qui retourne un IC bootstrap sur la différence des métriques. C'est\n",
"l'alternative non-paramétrique au t-test corrigé.\n",
Expand Down Expand Up @@ -547,14 +547,14 @@
"est petite. Quand `n_test ≈ n_train`, le chevauchement est grand et la\n",
"correction est substantielle.\n",
"\n",
"**Sortie attendue** (cellule code[10]) : une fonction `corrected_resampled_ttest`\n",
"**Sortie attendue** (cellule suivante) : une fonction `corrected_resampled_ttest`\n",
"implémentée exactement comme ci-dessus, retournant le t-statistic, la moyenne\n",
"des différences, et la variance corrigée.\n",
"\n",
"**Comparaison avec le t-test naïf** : sur le dataset diabetes, le t-test naïf\n",
"donne typiquement p ≈ 0.03 (significatif à 5%). Le t-test corrigé donne p ≈ 0.12\n",
"donne p ≈ 0.034 (significatif à 5%). Le t-test corrigé donne p ≈ 0.094\n",
"(non significatif à 5%). La correction *gonfle* la variance d'un facteur\n",
"~3, ce qui change la conclusion.\n",
"≈ 2,1, ce qui change la conclusion.\n",
"\n",
"**Coût** : < 0.1 seconde (calcul vectoriel sur k=10 paires)."
]
Expand Down Expand Up @@ -659,7 +659,7 @@
"α par le nombre de comparaisons : α' = α/n. Avec n=3, α' = 0.017 -- plus\n",
"strict, mais contrôle le risque global.\n",
"\n",
"**Sortie attendue** (cellule code[12]) : pour chaque paire de modèles, la\n",
"**Sortie attendue** (cellule suivante) : pour chaque paire de modèles, la\n",
"taille d'effet rank-biserial standardisée + la p-value corrigée par Bonferroni.\n",
"\n",
"**Coût** : < 0.5 seconde (calcul vectoriel sur les résidus + correction)."
Expand Down
Loading