Contexte
Découvert en corrigeant #16126 (notebook 3.6c-Modeles-Generatifs-Diffusion-from-scratch.ipynb), sur la réserve de la revue structurelle de NanoClaw portant sur l'instrument de mesure de la section 4.
Le constat mesuré
Le notebook compare deux schedules (linéaire vs cosinus) par une distance MMD à noyau RBF, et concluait « le linéaire gagne ». La revue a demandé un contrôle de sensibilité à la bande passante sigma du noyau. Fait, et le résultat invalide la conclusion telle qu'elle était énoncée.
sigma dans {0,5 ; 1,0 ; 2,0} (mêmes échantillons, même lot de référence) :
| sigma |
linéaire |
cosinus |
plancher vrai/vrai |
rang |
| 0,5 |
0,00261 |
0,00233 |
0,00220 |
cosinus |
| 1,0 |
0,00735 |
0,00869 |
0,00324 |
linéaire |
| 2,0 |
0,01289 |
0,08948 |
0,00480 |
linéaire |
Le rang ne survit pas au choix du noyau : à sigma = 0,5, le cosinus passe devant. La conclusion « le linéaire gagne, donc l'intuition plus récent = meilleur est fausse ici » est donc conditionnelle au noyau, pas un fait. Le notebook a été corrigé pour le dire contre lui-même (PR #16126, commit 194f0a54f4) — mais le fond n'est pas tranché.
Ce que la correction de #16126 a déjà réglé, et ce qui reste
Réglé : le plancher vrai/vrai était mesuré à n = 512 contre des MMD de modèles à n = 1024. L'estimateur plug-in incluant la diagonale, son biais est en 2/n, donc le plancher portait deux fois le biais de ce qu'il minore (0,00631 -> 0,00324 après correction). L'écart des modèles au niveau des données est cinq fois plus grand que ce que le tableau suggérait. Ce volet est fermé.
Reste : le classement lui-même est sous-déterminé par l'instrument. Un seul seed, un seul budget (12 epochs), une seule résolution (8×8), un seul s cosinus, et — depuis la mesure ci-dessus — pas même une bande passante unique.
Acceptance de cette issue
Trancher le classement par un protocole qui ne dépende pas d'un réglage arbitraire de noyau :
- Balayage de
sigma sur au moins 5 valeurs couvrant une décade, avec le rang reporté à chaque valeur — et non un seul sigma choisi après coup.
- Au moins 4 seeds parmi 0/1/7/42/99, par schedule.
- Au moins 2 budgets d'entraînement, pour distinguer « le cosinus converge plus lentement » de « le cosinus converge moins bien ».
- Verdict honnête :
linéaire domine / cosinus domine / INCONCLUSIVE (le rang dépend de l'instrument). Le troisième est un résultat acceptable et publiable — c'est même l'hypothèse que la mesure actuelle soutient.
- Le notebook final écrit la dépendance au noyau dans la section de conclusion, pas en note de bas de page.
Ce que cette issue n'est pas
Références
Contexte
Découvert en corrigeant
#16126(notebook3.6c-Modeles-Generatifs-Diffusion-from-scratch.ipynb), sur la réserve de la revue structurelle de NanoClaw portant sur l'instrument de mesure de la section 4.Le constat mesuré
Le notebook compare deux schedules (linéaire vs cosinus) par une distance MMD à noyau RBF, et concluait « le linéaire gagne ». La revue a demandé un contrôle de sensibilité à la bande passante
sigmadu noyau. Fait, et le résultat invalide la conclusion telle qu'elle était énoncée.sigmadans {0,5 ; 1,0 ; 2,0} (mêmes échantillons, même lot de référence) :Le rang ne survit pas au choix du noyau : à
sigma = 0,5, le cosinus passe devant. La conclusion « le linéaire gagne, donc l'intuition plus récent = meilleur est fausse ici » est donc conditionnelle au noyau, pas un fait. Le notebook a été corrigé pour le dire contre lui-même (PR #16126, commit194f0a54f4) — mais le fond n'est pas tranché.Ce que la correction de #16126 a déjà réglé, et ce qui reste
Réglé : le plancher vrai/vrai était mesuré à
n = 512contre des MMD de modèles àn = 1024. L'estimateur plug-in incluant la diagonale, son biais est en2/n, donc le plancher portait deux fois le biais de ce qu'il minore (0,00631 -> 0,00324 après correction). L'écart des modèles au niveau des données est cinq fois plus grand que ce que le tableau suggérait. Ce volet est fermé.Reste : le classement lui-même est sous-déterminé par l'instrument. Un seul seed, un seul budget (12 epochs), une seule résolution (8×8), un seul
scosinus, et — depuis la mesure ci-dessus — pas même une bande passante unique.Acceptance de cette issue
Trancher le classement par un protocole qui ne dépende pas d'un réglage arbitraire de noyau :
sigmasur au moins 5 valeurs couvrant une décade, avec le rang reporté à chaque valeur — et non un seulsigmachoisi après coup.linéaire domine/cosinus domine/INCONCLUSIVE (le rang dépend de l'instrument). Le troisième est un résultat acceptable et publiable — c'est même l'hypothèse que la mesure actuelle soutient.Ce que cette issue n'est pas
diffusers), pas un protocole robuste de comparaison intra-bloc.Références
3.6c, commit194f0a54f4(plancher à effectif égal + balayagesigma+ latence mesurée).mmd_rbfdans la cellule de mesure du notebook ;scripts/notebook_tools/check_c2_compliance.py,check_exec_sequence.py.