Skip to content

docs/ml : note de référence — flaws des benchmarks TSAD + Matrix Profile (compagnon ML-10/ML-11) #13993

Closed

Description

@jsboige

Contexte

Note de référence compagnon pour les notebooks ML-10 et ML-11 (distillation de la triade Wu-Keogh 2020 / Yeh 2024 / Fu ICLR 2025 sur la détection d'anomalies temporelles). Cette doc accompagne les notebooks sans dupliquer leur contenu : elle consolide le cadre méthodologique pour que le lectorat situe la série ML-9 → ML-10 → ML-11 et comprenne pourquoi elle progresse dans cet ordre.

Livrable

Fichier docs/ml/tsad-benchmark-flaws.md (nouveau). Genre : docs (META — a-côté plafonné 1 item/lane/jour, G-VAR-3). En français (règle readme-french-first).

Contenu

  1. La triade — résumé croisé des trois sources :

    • Wu & Keogh 2020 (arXiv:2009.13807, IEEE TKDE) — le diagnostic : 4 flaws des benchmarks classiques (trivialité, densité irréaliste, mal-étiquetage, run-to-failure bias) + l'UCR Archive (367 séries).
    • Keogh 2025 (Reddit) — le diagnostic étendu : SPC (1924, M + 3*S) bat le SOTA sur TSB-AD-M (NeurIPS 2024). L'introspection communautaire n'est pas terminée.
    • Yeh et al. 2024 (arXiv:2409.09298) — l'outil SOTA non-apprentissage : Matrix Profile multidimensionnel, seul constant sur 119 datasets × 3 setups.
    • Fu et al. ICLR 2025 (openreview:fErm1seIom) — l'hybridation : MP comme loss structurée (FMP-AE).
  2. Le fil pédagogique — pourquoi ML-9 (PCA) → ML-10 (critique benchmarks) → ML-11 (MP multidim) dans cet ordre : la critique méthodologique (ML-10) prépare le terrain pour l'outil SOTA (ML-11), sinon on enseigne un algorithme sans le regard critique qui le met en valeur.

  3. Pointeurs — liens vers les notebooks ML-9/ML-10/ML-11, vers les dépôts de code publics (mmpad_tsb, FMP-AE, stumpy), vers l'UCR Archive.

Critères d'acceptation

  • Fichier créé en français (règle readme-french-first).
  • Pas de duplication du contenu des notebooks (référence, pas retranscription).
  • Liens vers les 3 sources primaires + les 2 dépôts de code + stumpy + UCR Archive.
  • Référencé depuis les notebooks ML-10 et ML-11 (un lien dans la section Références de chaque notebook).
  • Une seule PR atomique (genre docs), < 100 lignes.

Références

See #13991, #13992 (les notebooks compagnons).

Activity

  1. added
    EPICEpic tracking issue with sub-issues
    on Sep 1, 2026
  2. added a commit that references this issue on Sep 2, 2026
  3. jsboige commented on Sep 21, 2026

    @jsboige
    OwnerAuthor

    Grain: LIGHT/docs — lane myia-po-2025:CoursIA — prev: MED/notebook-python #17208

    [CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/ML/ML.Net/ML-10-TSAD-Benchmark-Flaws-Python.ipynb, MyIA.AI.Notebooks/ML/ML.Net/ML-11-MatrixProfile-Multidim-Python.ipynb -- rider du critère 4 : référencer docs/ml/tsad-benchmark-flaws.md depuis les sections Références des deux notebooks. La substance (note de référence) est déjà sur main via #14003 ; seule la case 4 de l'acceptance manque, mesuré firsthand ce cycle (git grep tsad-benchmark-flaws origin/main -- *.ipynb = 0).

  4. jsboige commented on Sep 21, 2026

    @jsboige
    OwnerAuthor

    [DELIVERED] lane myia-po-2025:CoursIA — PR #17314 : rider du critère 4. Bullet « Note compagnon » ajouté dans le bloc Références de ML-10 (cell c7b4b2eb) et dans le bloc références de la Conclusion de ML-11 (cell 451d3d9d), lien relatif ../../../docs/ml/tsad-benchmark-flaws.md. Markdown-only (hash des cellules code identique avant/après, round-trip byte-exact, nbformat OK x2). Les 5 cases de l'acceptance sont désormais cochées (4 via #14003, la 5e via ce rider).

  5. added a commit that references this issue on Sep 23, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    EPICEpic tracking issue with sub-issues

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions