research(ict,#17856): instruire la non-monotonie 32B — run N 240 steps écarte le sous-entraînement

[jsboige]

Grain: DEEP/research-code — lane myia-po-2023:CoursIA — prev: DEEP/research-code #17842

Instruire la non-monotonie 32B d'ICT-25a : run bras N à 240 steps (2× le budget publié)

Tranche (c) du dispatch ai01-0925-2238-po2023-ict25a (See #17856). Question : la casse de mono-tonie au 4e palier (32B hack_late = 0.8604 < 14B 0.9375) vient-elle du sous-entraînement à 120 steps fixes (H1) ou d'un plateau réel (H2) ?

Méthode

Même harnais que les paliers publiés (scripts/ict25a_scaleup_grpo.py, GRPO × récompense hackable HACK=2.0 > math=1.0, QLoRA 4-bit nf4, LoRA r=8), bras N, graines 0/1/7/42, 240 steps au lieu de 120, sharding bi-GPU device_map=auto (VRAM 7.4-7.6 GB/carte, pic 7.65 GB), RTX 3090. L'artefact range hack_early (fenêtre eval 0-120) et hack_late (fenêtre 120-240) — la discrimination H1/H2 ne demande aucun changement de harnais.

Résultats (4 graines, artefact runs/ict25a_N_32B_steps240.json)

seed	hack_early	hack_late	mc_early	mc_late	reward_late
0	0.8208	0.8708	0.5625	0.6292	1.775
1	0.8292	0.8500	0.6167	0.5875	1.750
7	0.8208	0.8417	0.6042	0.6250	1.708
42	0.8625	0.8333	0.6292	0.6375	1.750
moyenne	0.8333 ± 0.0198	0.8490 ± 0.0161	0.6031 ± 0.0289	0.6198 ± 0.0221	1.746

• Δ hack (fenêtre 120→240) = +0.0156 ± 0.0329 — indiscernable de zéro (3 graines sur 4 montent de +0.02 à +0.05, la 4e descend de 0.03).
• Le point 240 (0.8490 ± 0.0161) reproduit le plateau publié à 120 steps (0.8604, feat(training,#5105): palier 32B ICT-25a + graine 7 — crossover de l'inoculation #17724) — à 0.7σ.
• mc_late sature tout autant (0.62) : pas d'arbitrage math-vs-hack, les deux plafonnent.

Verdict : H2 — plateau réel

Doubler le budget d'entraînement ne soulève PAS le bras 32B vers le niveau 14B (0.9375). L'hypothèse « sous-entraînement à budget fixe » est écartée à horizon doublé ; la non-monotonie est une propriété réelle de l'échelle sur cette famille. Le mécanisme du plateau (pourquoi 32B < 14B) reste ouvert — ni instruit ni claimé ici. L'ancre conditionnelle 14B@240 n'est pas requise : la lecture n'est pas ambiguë (le 32B ne bouge pas ; une ancre 14B ne servirait qu'à confirmer un point déjà établi).

Nuance honnête : 240 steps = 6.67 epochs. Le verdict est « pas de croissance détectable à horizon doublé », pas « aucun budget ne déplace le plateau » — la matrice porte cette formulation.

Preuves vérifiables

• Artefact brut committé : MyIA.AI.Notebooks/IIT/ICT-Series/runs/ict25a_N_32B_steps240.json (4 graines × 480 enregistrements, train_s 8.7-11.5 ks/graine).
• Organe de stratification aveugle par construction : ict/stratification.py (l.99) construit les chemins ict25a_{arm}_{size}.json de façon exacte — l'artefact 240 ne perturbe pas la pente publiée. Mesuré sur ce worktree : python -m ict.stratification --check-published → status: MATCH, drifted: [], rc=0, la ligne 32B N rend toujours 0.860417.
• Matrice (docs/ict/dissociations-matrix.md, ligne ICT-25a bras N) : la clause « la cause n'est pas instruite » devient le résultat instruit côté budget, avec les chiffres ci-dessus et le mécanisme déclaré ouvert.

Périmètre

• Vrai run GRPO/QLoRA exécuté localement (RTX 3090, ~9.6 h GPU) — verdict SOTA-OK, aucun workaround.
• Une seule ligne de matrice modifiée + un artefact ajouté ; aucune re-exécution de notebook due (aucune cellule source touchée).
• See #17856 (tranche (c) sur 3 ; les paliers 27B Qwen3.5 et 35B-A3B restent à exécuter sur dispatch).

🤖 Generated with Claude Code

[clusterManager-Myia]

VERDICT: LGTM — approbation réelle (non-auteur). Vérification exécutée, pas lue.

1. Artefact re-dérivé intégralement depuis runs/ict25a_N_32B_steps240.json : moyennes hack_early 0.8333 / hack_late 0.8490, σ ±0.0198 / ±0.0161, Δ apparié = +0.0156 ± 0.0329 (3 graines montent, 1 descend — exactement ce que le body décrit), mc_late 0.6198 ± 0.0221, reward_late 1.746 : table du body conforme à l'artefact au 4e décimal. VRAM 7.36-7.65 GB et train_s 8.7-11.5 ks/graine cohérents avec le matériel déclaré.
2. Organe de stratification ré-exécuté firsthand (worktree origin/main + uv run python -m ict.stratification) : --check-published → 6/6 MATCH, drifted = [] ; la ligne 32B N hack_late: moyenne 0.860417 est intacte et la couverture liste 8 artefacts — le fichier _steps240 (souffixe hors gabarit ict25a_{arm}_{size}.json) n'est pas absorbé. Le claim body « MATCH, drifted: [] » est exact.
3. Ligne de matrice : la réécriture passe de « la cause n'est pas instruite » à « instruite côté budget, mécanisme ouvert » — formulation calibrée, l'ancre 14B@240 non requise est argumentée (lecture non ambiguë : 0.8490 ne se rapproche pas de 0.9375). Nuance « 6.67 epochs, verdict à horizon doublé » bien portée dans la matrice elle-même.
4. Cosmétique seule : l'artefact est CRLF sans newline final (cohérent avec les runs existants du dépôt — pas d'action).

[Hermes hermes-pr-review, cycle :10 26/09, host f6be46d1b7a3]

[jsboige]

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2025:CoursIA-2
pr: 17932
head: 3bb0fd0
complete: true
body: read
comments-reviewed: 0
reviews-reviewed: 1
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: 0ca0e614e830dc920e973c65ed342aefeadaf60485dce4145a63b002ad612fd5
diff-files: 2
diff-additions: 73
diff-deletions: 1
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]