fix(ml): datasets mieux calibres pour le RL des petits modeles (0.8-2B) — piste proposee en review de #15249

[jsboige]

Ouvert en suivi de la review user de PR #15249 (probe B, #15099).

Contexte

Review user : les modèles 0.8B-2B sont mal castés sur DAPO-Math-17k (maths compétitives) ; il doit y avoir des datasets mieux calibrés pour ces petits modèles. Le signal RL sur ce corpus est bruité par l'inaccessibilité de la tâche aux backbones testés.

Livrable attendu

• Inventaire borné (une demi-journée max de recherche) de datasets RL-ready adaptés aux 0.8-2B : tâches d'aiguillage/outils (function-calling, routing multi-modèles), formulation/ré-écriture contrainte, arithmétique simple/chaîne courte — là où le user situe la valeur réelle des petits modèles (chaîne temps réel) ;
• candidats attendus côté littérature : dérivés GSM8K-level simplifiés, Function-Calling/ToolBench subsets, préférences courts-horizon ;
• re-run du harnais probe sur 1-2 datasets retenus avec MiniCPM5-2B vs Qwen3.5-0.8B, même protocole borné ;
• verdict : le classement 2B > 0.8B tient-il sur une tâche réellement calibrée pour cette échelle ?

Acceptance

• Note de veille (3-5 datasets candidats, critère de calibration, sources)
• 1-2 runs probe multi-seed sur datasets retenus
• Comparaison des conclusions vs DAPO-Math-17k (le BEATS était-il un artefact de casting ?)

See #15099, #15249

[jsboige]

[CLAIMED] #15294 — myia-po-2026:CoursIA 2026-09-10T21:13Z

Grain CONTENU MED/training (sous-grain umbrella #1454, étage GPU moyen). Tiré via pick_idle_grain.py --lane myia-po-2026:CoursIA sur instruction ai-01 du 2026-09-10T20:48Z (re-pick après collision détectée sur le dispatch conditionnel #15400).

Cadrage : #15293 (retest ≥ 8-9B) route explicitement vers po-2024/ai-01 (24 Go) ; #15294 cible les 0.8-2B = mon étage (16 Go, ~6,7 Go libres mesurés nvidia-smi — 0.8-2B QLoRA tiennent).

Découpage annoncé :

• Ce cycle : acceptance 1 — note de veille bornée (3-5 datasets RL-ready calibrés 0.8-2B, critère de calibration, sources) dans ML-Training-Pipeline/docs/.
• Cycles suivants : acceptances 2-3 — re-run du harnais scripts/probe_15099_dapo_grpo.py (protocole inchangé) sur 1-2 datasets retenus, MiniCPM5-2B vs Qwen3.5-0.8B, verdict vs DAPO-Math-17k.

Preflight firsthand : 0 commentaire de claim sur l'issue, 0 PR ouverte/closed citant 15294.

[jsboige]

Livrée — PR #15505 (feature/15294-small-rl-datasets, commit d96ef2970) : acceptance 1/3 (note de veille docs/P15294_SMALL_MODEL_RL_DATASETS.md — critère 4 conditions, 5 candidats, 2 retenus). Acceptances 2-3 (runs probe multi-seed xlam-function-calling-60k + TinyGSM, MiniCPM5-2B vs Qwen3.5-0.8B) aux cycles suivants sur ce claim.

[myia-ai-01]

[INFO] ai-01 — urne delivered : non fermable, l'issue revient au tapis (étiquette candidate-delivered retirée)

Livré : #15505 et #15531. docs/P15294_SMALL_MODEL_RL_DATASETS.md est présent, et la matrice d'accessibilité répond à l'acceptance 3 : DAPO est inaccessible, et le BEATS venait d'un artefact de casting.

Reste mesuré sur origin/main le 05/10 : l'acceptance 2 demande un ou deux runs GRPO multi-graines sur les jeux retenus (GSM8K, Hermes). Seule une baseline sans entraînement existe. Grain GPU.

-- ai-01

[jsboige]

[CLAIMED] lane myia-po-2024:CoursIA -- paths: MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/probe_15099_dapo_grpo.py, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/results/, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/docs/, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/REGISTRY.md -- veille bornee datasets RL-ready 0.8-2B puis re-run probe multi-seed sur 1-2 retenus (GPU local RTX 3070 libre, smoke d'abord)

[jsboige]

[INFO] Reprise du claim lane myia-po-2024:CoursIA (claim du 07/10, paths inchangés) — état mesuré de l'acceptance 2 (runs GRPO multi-seed, « Grain GPU ») :

Ce qui est déjà en vol / fait (artefacts mesurés firsthand, D:/Dev/probe15099_runs + scripts/results/p15294_hermes_grpo/) :

• qwen35 × hermes × seed0 : TERMINÉ (06/10 22:10, wallclock 47050 s ≈ 13,1 h sur RTX 3070 Laptop 8 Go). Pre 0,2062 → post 0,2687 (+6,2 pts, +30 % relatif) : le couple borderline (accessibilité 0,20) produit bien du signal RL — le 0.8B s'améliore sur Hermes.
• qwen35 × hermes × seed1 : EN VOL (PID 47684, lancé 06/10 23:56, GPU 100 %, vitalité prouvée par delta CPU). ~5,5 h écoulées sur ~13 attendues → ETA ~13h30 locale (07/10).

Chaînage armé (surveille la sortie du seed1, lance le maillon suivant, log inter-sessions dans D:/Dev/probe15099_runs/logs/) :

• minicpm5 × hermes × seed0 au réveil du seed1 — le côté 2B n'a encore AUCUN run : c'est la cellule manquante de la comparaison.
• puis minicpm5 × hermes × seed1 au cycle suivant → la règle de verdict du harnais (BEATS si post>pre par seed, intervalles ±1std disjoints, >=2 seeds par modele) devient évaluable par summarize.

Contrainte matérielle honnête : ~13 h par run sur ce GPU → matrice bornée (2 modèles × 2 seeds × Hermes) ≈ 2 jours de GPU séquentiel. La comparison vs DAPO (acceptance 3) reste acquise par la matrice d'accessibilité (#15531) ; l'extension GSM8K × minicpm5 reste disponible si le coordinateur veut un second dataset après le verdict Hermes.

See #15099, #15249, #15505, #15531

[jsboige]

[INFO] lane myia-po-2024:CoursIA — PR #19909 : acceptance 2 partielle (qwen35 x hermes x 2 seeds) + reparation env

• qwen35 x hermes x {0,1} TERMINES (47 050 s / 23 666 s sur RTX 3070) : delta +0,0625 / +0,4375 (moyen +0,2500 +- 0,1875), 2/2 seeds post>pre, pas d effondrement de longueur. Contre +0,0063 +- 0,0063 sur DAPO (M19) : artefact de casting confirme cote 0.8B (acceptance 3). Accessibilite pre-eval 0,17-0,21 = prediction borderline de la matrice feat(ml,#15294): matrice baseline d'accessibilite — mode baseline probe + 4/6 mesures (dapo en cours) #15531.
• Env repare entre-temps (regle F) : torchaudio 2.6.0+cu124 inimportable sous torch 2.14.1+cu126 cassait tout import transformers dans coursia-ml-training — torchaudio s arrete a 2.11.0 (fin de vie), aucun appariement possible ; paquet orphelin retire (etat avant consigne, restauration documentee dans la PR).
• minicpm5 x hermes x seed0 relance en chaine detachee (watcher + seed1 enchaines automatiquement, script D:/Dev/probe15099_runs/run_chain_minicpm5_hermes.ps1) — le run du 07/10 avait ete tue sans traceback (stderr tamponne, kill externe) ; la relance est en -u avec logs .out/.err separes, GPU actif verifie au lancement de la PR. Verdict de paire 2B vs 0.8B a la livraison des 2 runs (~26 h GPU restantes).

Grain: DEEP/training -- prev: LIGHT/renum #19468

[jsboige]

[CLAIMED] lane myia-po-2024:CoursIA -- summarize dataset-aware : cabler --dataset a mode_summarize (REPO_RESULTS code dur m19) pour le verdict de paire hermes -- paths: MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/probe_15099_dapo_grpo.py

(check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with [RELEASED] when your PR lands.)