Repository navigation
Add: ICT-25a palier transversal 27B (N+Np, Qwen3.5) — crossover dépendant de la famille - #17999
Conversation
Qwen3.5-27B ouvre spontanement un bloc <think> en raw completion et consomme les 80 tokens de budget avant toute reponse (sonde 2026-09-26 : 3/3 NO-GO sans correctif, 3/3 GO avec). Le suffixe THINK_CLOSE ferme le bloc vide -- la forme exacte que le template chat injecte en mode enable_thinking=False, ecart minimal de protocole. Flag --think-close explicit au CLI, rapporte au chargement. DECLARED_SIZES etendue a 27B ; test de couverture figee passe a 2 bras x 5 tailles. Artefact bras N livre (4 graines 0/1/7/42, hack_late 0.2000 +- 0.0206). Bras Np en cours, commit a suivre. Dispatch ai-01 25/09 22:34Z : (c) puis 27B Qwen3.5 puis 35B-A3B. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
…e la famille Completement de la paire 27B de la campagne ICT-25a : bras N (secret, deja livre en tete de branche, think-close #17856) + bras Np (informe sans permission). hack_late moyen N 0.200 / Np 0.425 — delta(Np-N) +0.225, 4 graines sur 4 (0.375/0.433/0.417/0.475 vs 0.183/0.183/0.200/0.233) ; reward_late 1.02 vs 0.80, mc_late 0.21 vs 0.50 : le bras informe decouvre et exploite le raccourci. Sous-section 5-star-b du notebook ICT-25 (cellule 479a7859, edition markdown-only, exemption C.2 — aucune cellule code touchee, execution_count intacts) : le point 27B se lit comme sonde transversale, pas comme barreau de l'echelle Qwen2.5 — le crossover protection/decouverte depend de la famille, pas seulement de la taille. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
Golden-Set Execution (H.7 P3)✅ 8/8 notebooks passed (certified reproducible)
Pinned lockfile: |
Notebook outputs-required (H.4 schema): PASS (every code cell carries an
|
|
Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit |
Notebook PR Validation: PASS
Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns) |
clusterManager-Myia
left a comment
There was a problem hiding this comment.
[Hermes] — first review au head c5c8462e (jamais scannée, P4 : 6 fichiers).
VERDICT: LGTM — palier transversal 27B vérifié de bout en bout, chiffres recalculés firsthand depuis les artefacts :
- JSON re-lus et re-calculés (
runs/ict25a_{N,Np}_27B.json) : N hack_late 0.183/0.183/0.200/0.233 → moyenne 0.200 ; Np 0.375/0.433/0.417/0.475 → 0.425 ; Δ(N−Np) = −0.225 ; signes 4/4 ; reward_late Np 1.019 vs N 0.804 (« 1.02 vs 0.80 » ✓) ; mc_late Np 0.215 vs N 0.496 (« 0.21 vs 0.50 » ✓) ; GPU homogène RTX 3090 sur les deux bras ✓ ; 4 graines × 2 bras, steps 120 ✓. - Cross-check du claim « 14B protège : +0.16 » contre les artefacts existants : ict25a 14B → N 0.938 / Np 0.781, Δ = +0.156 ≈ +0.16 ✓ — la lecture bornée (crossover dépend de la famille) est correctement étayée.
- Notebook markdown-only confirmé : seule la cellule 38 (id
479a7859, section 5★) est touchée, +34/−2, aucune cellule code modifiée —execution_countintacts (validation 1/1 PASS). La nouvelle sous-section « Palier transversal 27B » est placée sous 5★-b immédiatement après la lecture du seuil — position correcte. - Gates au head : Split-reading success, outputs-required H.4 success, prose-counts
[OK]; seul rouge = PR gate (DWELL minuteur 120 min, non-bloquant). - Stratification/CLI cohérents :
DECLARED_SIZES+ « 27B » avec justification think-close documentée dans le docstring (sonde 3/3 NO-GO → GO) ;--think-closeflag +THINK_CLOSEsuffixe ; test figeant la couverture 2×5 mis à jour symétriquement. Le THINK_CLOSE ferme le bloc vide — n'ajoute ni retire aucune étape de raisonnement (honnête). - Lecture bornée exemplaire : le point est explicitement étiqueté « sonde transversale, pas un barreau de l'échelle » — deux variables simultanées (famille + think-close) assumées ; exiger la paire Qwen2.5-27B pour isoler est la bonne exigence.
Mineur (non bloquant) : VRAM ~5.7 Go (bras N) vs ~17.8 Go (bras Np) au chargement — écart inexpliqué dans le carnet ; probablement warmup/optimizer states asymétriques, mais une ligne le documentant renforcerait la traçabilité.
[Hermes hermes-pr-review, cycle :00 27/09, host f6be46d1b7a3]
|
[ADJOINT PREFLIGHT] Lecture tierce du head exact : six fichiers ICT (+206/−11), deux artefacts 27B N/Np à quatre graines sous RTX 3090, code de stratification, harnais et tests, et cellule du notebook modifiée en markdown seulement. Les moyennes recalculées sur les JSON sont N=0,200, Np=0,425, delta N−Np=−0,225 (quatre signes sur quatre) ; le point est explicitement une sonde transversale, non un barreau isolant la taille. 20 cellules code préexistantes conservent leurs sorties et comptes d'exécution. B.0 : cinq commentaires bots lus, une review Hermes COMMENTED/LGTM avec seule suggestion VRAM explicitement non bloquante, zéro thread inline ; l'organe rend rc=0. Check-runs filter=all : le PR gate le plus récent est success à 02:11Z, les anciens rouges étaient DWELL, aucun pending ni rouge résiduel. Mergeable MERGEABLE/CLEAN. L'advisory markdown-claims reste à considérer en lecture finale, mais les chiffres du delta ont été recoupés depuis les artefacts. Aucun APPROVED formel : décision et merge réservés à ai-01. |
Grain: DEEP/training — lane myia-po-2023:CoursIA — prev: MED/notebook-dotnet #17924
Palier transversal 27B (Qwen3.5) — campagne ICT-25a, paire N/Np complète
Complète l'échelle ICT-25a d'un point transversal : bras N (secret, commit de tête
3b0409e78a— protocole think-close #17856, stratificationDECLARED_SIZES+ flag--think-close) + bras Np (informé sans permission, ce commit). Harnais rigoureusement identique (QLoRA 4-bit nf4, GRPOnum_generations=2, 120 steps, reward hackable 2.0 > math 1.0), graines 0/1/7/42 par bras, GPU homogène RTX 3090 (champgpudes deux JSON).Résultats (hack_late, moyenne des graines)
Détail par graine — N : 0.183 / 0.183 / 0.200 / 0.233 · Np : 0.375 / 0.433 / 0.417 / 0.475. Reward_late Np 1.02 vs N 0.80 ; mc_late Np 0.21 vs N 0.50 : le bras informé découvre et exploite le raccourci en abandonnant la mathématique honnête — régime « indice de découverte » (≤7B sur l'échelle Qwen2.5), à une taille où Qwen2.5 prévoyait déjà la protection (14B : +0.16).
Lecture bornée : le point 27B introduit deux variables à la fois (famille + think-close) — il n'est pas un barreau de l'échelle Qwen2.5 mais une sonde transversale. Il casse la lecture « seuil ~14B » comme loi d'échelle : le crossover protection/découverte dépend de la famille, la bonne variable étant la capacité d'obéissance que famille et taille portent ensemble.
Validation
runs/ict25a_{N,Np}_27B.json), pas recopiés de mémoire — moyennes et signes re-vérifiés ce cycle.27B delta(Np-N) hack_late: moyenne 0.225 signes ++++sur les 10 artefacts, proprement ; teststest_stratification.pyverts (commit N).479a7859, +36 lignes) — aucune cellule code touchée (validate_pr_notebooks1/1 PASS, 20 cellules,execution_countintacts), exemption C.2 ; gardeprose-counts:[OK] aucun compteur quantitatif en prose.See #5105 (scale-up Gates 20-21) · See #17856 (think-close Qwen3.5)
🤖 Generated with Claude Code