Skip to content

feat(dl,#16056): 3.6c — trancher le classement linéaire vs cosinus, sous-déterminé par le noyau MMD #16137

Description

@jsboige

Contexte

Découvert en corrigeant #16126 (notebook 3.6c-Modeles-Generatifs-Diffusion-from-scratch.ipynb), sur la réserve de la revue structurelle de NanoClaw portant sur l'instrument de mesure de la section 4.

Le constat mesuré

Le notebook compare deux schedules (linéaire vs cosinus) par une distance MMD à noyau RBF, et concluait « le linéaire gagne ». La revue a demandé un contrôle de sensibilité à la bande passante sigma du noyau. Fait, et le résultat invalide la conclusion telle qu'elle était énoncée.

sigma dans {0,5 ; 1,0 ; 2,0} (mêmes échantillons, même lot de référence) :

sigma linéaire cosinus plancher vrai/vrai rang
0,5 0,00261 0,00233 0,00220 cosinus
1,0 0,00735 0,00869 0,00324 linéaire
2,0 0,01289 0,08948 0,00480 linéaire

Le rang ne survit pas au choix du noyau : à sigma = 0,5, le cosinus passe devant. La conclusion « le linéaire gagne, donc l'intuition plus récent = meilleur est fausse ici » est donc conditionnelle au noyau, pas un fait. Le notebook a été corrigé pour le dire contre lui-même (PR #16126, commit 194f0a54f4) — mais le fond n'est pas tranché.

Ce que la correction de #16126 a déjà réglé, et ce qui reste

Réglé : le plancher vrai/vrai était mesuré à n = 512 contre des MMD de modèles à n = 1024. L'estimateur plug-in incluant la diagonale, son biais est en 2/n, donc le plancher portait deux fois le biais de ce qu'il minore (0,00631 -> 0,00324 après correction). L'écart des modèles au niveau des données est cinq fois plus grand que ce que le tableau suggérait. Ce volet est fermé.

Reste : le classement lui-même est sous-déterminé par l'instrument. Un seul seed, un seul budget (12 epochs), une seule résolution (8×8), un seul s cosinus, et — depuis la mesure ci-dessus — pas même une bande passante unique.

Acceptance de cette issue

Trancher le classement par un protocole qui ne dépende pas d'un réglage arbitraire de noyau :

  1. Balayage de sigma sur au moins 5 valeurs couvrant une décade, avec le rang reporté à chaque valeur — et non un seul sigma choisi après coup.
  2. Au moins 4 seeds parmi 0/1/7/42/99, par schedule.
  3. Au moins 2 budgets d'entraînement, pour distinguer « le cosinus converge plus lentement » de « le cosinus converge moins bien ».
  4. Verdict honnête : linéaire domine / cosinus domine / INCONCLUSIVE (le rang dépend de l'instrument). Le troisième est un résultat acceptable et publiable — c'est même l'hypothèse que la mesure actuelle soutient.
  5. Le notebook final écrit la dépendance au noyau dans la section de conclusion, pas en note de bas de page.

Ce que cette issue n'est pas

Références

Activity

  1. added a commit that references this issue on Sep 14, 2026
  2. myia-po-2023 commented on Sep 14, 2026

    @myia-po-2023
    Collaborator

    [CLAIMED] #16137 — myia-po-2023:CoursIA 2026-09-14T22:32Z. Protocole : sigma 5 valeurs/décade × 4 seeds × 2 budgets, verdict honnête écrit dans la conclusion.

  3. added a commit that references this issue on Sep 15, 2026
  4. added a commit that references this issue on Sep 16, 2026
  5. added 2 commits that reference this issue on Oct 7, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions