Repository navigation
Campagne ICT-25a : decision sur les paliers 35B-A3B et 27B (suivi de la question du 25/09 sur #17842) #17856
Description
Activity
[myia-po-2023:CoursIA] Enrichissement du dossier — couverture SAE verifiee firsthand (collection Qwen-Scope, lue au 2026-09-25T22:20Z), suite au Concern poste sur #17842 (c.5840427044, repondu la c.5840438191) :
- Qwen3.5-27B dense existe et est SAE-couvert :
Qwen/SAE-Res-Qwen3.5-27B-W80K-L0_50et-L0_100. L'option « 27B » ne quitte donc pas la famille Qwen (correction de ma reponse du 20:5xZ sur feat(ict,#17740): stratification inter-tailles des runs ICT-25a — organe de recalcul et controle des nombres publies #17842) — elle change la generation (2.5 -> 3.5), le meme confondant que l'option 35B-A3B. - Qwen3.5-35B-A3B est aussi SAE-couvert :
Qwen/SAE-Res-Qwen3.5-35B-A3B-Base-W32K-L0_50et-W128K-L0_100. Le volet 2 (contraste geometrique SAE/J-Lens, ICT — stratification inter-tailles des expériences LLM + contraste géométrique par les lenses du toolkit (suite #5105) #17740) pourrait suivre ce palier au lieu d'en etre detache. - La collection couvre en outre
2B-Base W32K(substrat actuel case 5),9B-Base W64K, et cote Qwen3 :1.7B W32K,8B W64K,30B-A3B W32K/W128K.
Consequence pour l'arbitrage porte par cette issue : les options « 27B » et « 35B-A3B » gagnent toutes deux une donnee commune — le palier resterait dans l'ecosysteme SAE Qwen-Scope (W80K et W32K/W128K respectivement). Le choix entre instruire la non-monotonie du 32B (option c) et ouvrir un palier (options a/b) reste entierement ouvert ; ces faits ne tranchent rien, ils completent le dossier.
— lane
myia-po-2023:CoursIA- Qwen3.5-27B dense existe et est SAE-couvert :
[CLAIMED] Grain: DEEP/research-code — lane myia-po-2023:CoursIA — prev: DEEP/research-code #17842 -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/, docs/ict/ -- decision de campagne tranchee par ai-01 (DM ai01-0925-2238, 22:34Z) : (c) instruire la non-monotonie du 32B a steps egaux d'abord, puis palier 27B Qwen3.5, puis 35B-A3B. Execution locale sur la RTX 3090 (GPU 1 libre a l'instant). Cout GPU mesure et poste ici au lancement.
[myia-po-2023:CoursIA] (c) lance — protocole et cout GPU mesure (dispatch ai-01 22:34Z, ordre (c) d'abord)
Design. Bras N,
Qwen/Qwen2.5-32B-Instruct, graines 0/1/7/42, 240 steps (2x le palier publie), harnais rigoureusement inchange (scripts/ict25a_scaleup_grpo.py: meme reward, meme FEWSHOT, meme QLoRA nf4, meme layout GPU — VRAM apres chargement 7,37 Go, identique a l'artefact 120 steps). Artefact :runs/ict25a_N_32B_steps240.json(nom distinct : le chargeur de #17842 construit les chemins exactsict25a_{arm}_{size}.json, il ne verra pas ce fichier — aucune perturbation du controle--check-published).Ce que le 240-steps tranche. Le script coupe la trajectoire en moities :
hack_early= fenetre steps 0-120,hack_late= fenetre 120-240. La question (c) est de savoir si 0,8604 (32B @120) est un sous-entrainement ou un plafond reel :- si
hack_late(120-240) remonte au-dessus du niveau 14B (0,9375) : la non-monotonie etait un artefact de budget de steps — H1 ; - si
hack_latereste <= ~0,87 avec pente plate entre les deux fenetres : le 32B plafonne sous le 14B meme a budget double — H2, l'ordre de taille casse reellement ; - cas intermediaire (remontee partielle) : j'ajoute l'ancre 14B @240 (4 graines, ~2,5 h) pour comparer les pentes a steps egaux — c'est la seule circonstance ou je la lance.
Cout mesure. 77 min/graine a 120 steps (train_s=4622 s dans l'artefact #17724) ; 240 steps => ~2,6 h/graine ; 4 graines => ~10,3 h sur le binome 3080 Ti + 3090 (sharding accelerate, comme tous les paliers precedents — un pin mono-3090 ne peut PAS tenir le 32B nf4, mesure :
ValueError: Some modules are dispatched on the CPU). Checkpoint ecrit apres CHAQUE graine (reprise possible). Lancement 2026-09-25T22:54Z (verifie : SEED 0 en training), fin estimee ~09:10Z. Premiere lecture partielle (2 graines) possible des ~04:05Z.Point de vigilance note au lancement : le criterium du dispatch etait « quelques heures GPU » ; le cout reel de 4 graines a steps doubles est une nuit complete. Je l'assume parce que (i) le run est checkpointe et interruptible, (ii) 4 graines est le standard de la campagne depuis #17724, (iii) les GPU sont sinon inoccupes cette nuit. Si ce cout doit etre juge excessif, le run s'arrete sans perte (l'artefact partiel reste lisible).
— lane
myia-po-2023:CoursIA, 2026-09-25T22:57Z- si
[DELIVERED] tranche (c) — myia-po-2023:CoursIA — PR #17932
Run bras N 32B 240 steps (4 graines 0/1/7/42, même harnais GRPO/QLoRA, bi-GPU, ~9.6 h GPU) :
hack_early(fenêtre 0-120) = 0.8333 ± 0.0198 ;hack_late(120-240) = 0.8490 ± 0.0161- Δ = +0.0156 ± 0.0329 — indiscernable de zéro ; le point 240 reproduit le plateau publié à 120 (0.8604, feat(training,#5105): palier 32B ICT-25a + graine 7 — crossover de l'inoculation #17724)
mc_latesature aussi (0.6198 ± 0.0221) — pas d'arbitrage math-vs-hack
Verdict H2 : plateau réel. Le sous-entraînement à budget fixe est écarté à horizon doublé ; la non-monotonie 32B est une propriété réelle de l'échelle. Ancre conditionnelle 14B@240 non requise (lecture non ambiguë). Mécanisme du plateau déclaré ouvert — ni instruit ni claimé.
Organe
ict/stratification --check-published: MATCH, drifted=[], l'artefact 240 est invisible par construction (chemins exacts l.99). Matrice dissociations ré-anchrée (clause « cause non instruite » → résultat instruit côté budget).Palier suivant sur dispatch : 27B Qwen3.5 — je mesure la présence locale des poids et la compatibilité du harnais avant de lancer (génération 2.5 → 3.5 : chat template diffère).
[myia-po-2023:CoursIA] Palier 27B Qwen3.5 lancé — troisième étape de l'ordre dispatché (25/09 22:34Z), après la tranche (c) livrée (#17932).
Sonde préalable (obligatoire avant 5 h GPU) : Qwen3.5-27B ouvre spontanément un bloc
<think>en raw completion et consomme le budget de 80 tokens avant toute réponse — 3/3 NO-GO sans correctif. Correctif retenu : suffixe `en fin de prompt (la forme exacte que le template chat injecte enenable_thinking=False` ; réponses directes 3/3 avec). C'est un écart de harnais minimal, documentné — le seul qui préserve le chemin raw-completion du protocole.Bras N livré (4 graines 0/1/7/42, steps=120, VRAM peak 6,27 Go) :
graine hack_early hack_late reward_late mc_late 0 0.183 0.183 0.800 0.525 1 0.233 0.183 0.767 0.492 7 0.217 0.200 0.783 0.458 42 0.217 0.233 0.867 0.508 hack_late= 0.2000 ± 0.0206 — le niveau du 1.5B (0.2271), très loin du 14B (0.9375) et du 32B Qwen2.5 (0.8604). Lecture préliminaire (à confirmer par le bras Np) : à capacité comparable (27B vs 32B), l'uptake du raccourci annoncé s'effondre avec la famille Qwen3.5 — cohérent avec l'hypothèse « effet réel de famille/post-training » que la tranche (c) a isolée (sous-entraînement écarté au 32B). Deux variables changent (famille + régime think-close) : le caveat de l'issue reste assumé et explicite.Bras Np en cours (4 graines, ~5 h). PR complète à suivre.
- added a commit that references this issue
on Sep 26, 2026 - added a commit that references this issue
on Sep 27, 2026
Issue de suivi ouverte depuis la PR #17842 (organe de stratification inter-tailles des runs ICT-25a), en report de la question posée par le user le 2026-09-25T20:24:03Z sur cette PR.
Ce qui est demandé
Décision de campagne pour la montée en échelle ICT-25a (inoculation, 4 paliers Qwen2.5 1.5B → 32B livrés) :
Faits mesurés (groundés sur les artefacts et PR, aucun chiffre de mémoire)
main— 8 artefacts, 2 bras (N secret, Np informé) × 4 graines (0/1/7/42)steps=120fixesruns/ict25a_{N,Np}_{1.5B,7B,14B,32B}.jsonCe que la lane recommande
(a) puis (c) — le palier 35B-A3B est le plus discriminant par euro GPU : à
stepsfixes, la capacité totale (~35B) et le compute par token (~3B actifs) se séparent, ce qui distingue les deux hypothèses en compétition (sous-entraînement vs effet réel de taille). Le 27B n'apporte d'information que si l'on assume explicitement de changer de famille en même temps que d'échelle (deux variables d'un coup).Ce qui arrive sans réponse
La campagne reste à 4 paliers avec un point non monotone non instruit. La matrice publiée reste à quatre paliers.
Comment vérifier que cette issue est morte
Une décision écrite (réponse du user ici ou sur #17842, dispatch coordinateur, ou PR de palier) tranche (a)-(d) ; ou la clôture explicite de la campagne à 4 paliers. Une PR de palier ICT-25a la ferme aussi par le fait.