Skip to content

Add: ICT-25a palier transversal 27B (N+Np, Qwen3.5) — crossover dépendant de la famille - #17999

Merged
myia-ai-01 merged 2 commits into
mainfrom
feature/ict25a-27b-nothink
Sep 27, 2026
Merged

myia-ai-01 merged 2 commits into
mainfrom
feature/ict25a-27b-nothink

Conversation

@jsboige

@jsboige jsboige commented Sep 27, 2026

Copy link
Copy Markdown
Owner

Grain: DEEP/training — lane myia-po-2023:CoursIA — prev: MED/notebook-dotnet #17924

Palier transversal 27B (Qwen3.5) — campagne ICT-25a, paire N/Np complète

Complète l'échelle ICT-25a d'un point transversal : bras N (secret, commit de tête 3b0409e78a — protocole think-close #17856, stratification DECLARED_SIZES + flag --think-close) + bras Np (informé sans permission, ce commit). Harnais rigoureusement identique (QLoRA 4-bit nf4, GRPO num_generations=2, 120 steps, reward hackable 2.0 > math 1.0), graines 0/1/7/42 par bras, GPU homogène RTX 3090 (champ gpu des deux JSON).

Résultats (hack_late, moyenne des graines)

Palier N (secret) Np (informé) Δ(N−Np) signes
27B (Qwen3.5) 0.200 0.425 −0.225 4/4

Détail par graine — N : 0.183 / 0.183 / 0.200 / 0.233 · Np : 0.375 / 0.433 / 0.417 / 0.475. Reward_late Np 1.02 vs N 0.80 ; mc_late Np 0.21 vs N 0.50 : le bras informé découvre et exploite le raccourci en abandonnant la mathématique honnête — régime « indice de découverte » (≤7B sur l'échelle Qwen2.5), à une taille où Qwen2.5 prévoyait déjà la protection (14B : +0.16).

Lecture bornée : le point 27B introduit deux variables à la fois (famille + think-close) — il n'est pas un barreau de l'échelle Qwen2.5 mais une sonde transversale. Il casse la lecture « seuil ~14B » comme loi d'échelle : le crossover protection/découverte dépend de la famille, la bonne variable étant la capacité d'obéissance que famille et taille portent ensemble.

Validation

  • Chiffres recalculés firsthand depuis les JSON (runs/ict25a_{N,Np}_27B.json), pas recopiés de mémoire — moyennes et signes re-vérifiés ce cycle.
  • Stratification : l'organe rend 27B delta(Np-N) hack_late: moyenne 0.225 signes ++++ sur les 10 artefacts, proprement ; tests test_stratification.py verts (commit N).
  • Notebook ICT-25 : édition markdown-only de la cellule §5★-b (id 479a7859, +36 lignes) — aucune cellule code touchée (validate_pr_notebooks 1/1 PASS, 20 cellules, execution_count intacts), exemption C.2 ; garde prose-counts : [OK] aucun compteur quantitatif en prose.
  • Multi-seed : 4 graines (0/1/7/42) × 2 bras — critère C satisfait ; verdict factuel, pas de claim « BEATS » (campagne de mesure, pas d'optimisation).

See #5105 (scale-up Gates 20-21) · See #17856 (think-close Qwen3.5)

🤖 Generated with Claude Code

jsboige and others added 2 commits September 27, 2026 01:57
Qwen3.5-27B ouvre spontanement un bloc <think> en raw completion et
consomme les 80 tokens de budget avant toute reponse (sonde 2026-09-26 :
3/3 NO-GO sans correctif, 3/3 GO avec). Le suffixe THINK_CLOSE ferme le
bloc vide -- la forme exacte que le template chat injecte en mode
enable_thinking=False, ecart minimal de protocole. Flag --think-close
explicit au CLI, rapporte au chargement.

DECLARED_SIZES etendue a 27B ; test de couverture figee passe a 2 bras
x 5 tailles. Artefact bras N livre (4 graines 0/1/7/42, hack_late
0.2000 +- 0.0206). Bras Np en cours, commit a suivre.

Dispatch ai-01 25/09 22:34Z : (c) puis 27B Qwen3.5 puis 35B-A3B.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
…e la famille

Completement de la paire 27B de la campagne ICT-25a : bras N (secret, deja
livre en tete de branche, think-close #17856) + bras Np (informe sans
permission). hack_late moyen N 0.200 / Np 0.425 — delta(Np-N) +0.225,
4 graines sur 4 (0.375/0.433/0.417/0.475 vs 0.183/0.183/0.200/0.233) ;
reward_late 1.02 vs 0.80, mc_late 0.21 vs 0.50 : le bras informe decouvre
et exploite le raccourci.

Sous-section 5-star-b du notebook ICT-25 (cellule 479a7859, edition
markdown-only, exemption C.2 — aucune cellule code touchee, execution_count
intacts) : le point 27B se lit comme sonde transversale, pas comme barreau
de l'echelle Qwen2.5 — le crossover protection/decouverte depend de la
famille, pas seulement de la taille.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
@github-actions github-actions Bot added the consecutive-code-cells Modified notebook has >=2 consecutive code cells (#12797) label Sep 27, 2026
@github-actions

Copy link
Copy Markdown
Contributor

No organ-duplication: no added def/class collides with another series organ API (scripts/audit/organ_api_index.yaml).

Detector: python scripts/audit/detect_organ_duplication.py --base <merge-base> --body-file <pr body>
Rationale: #16776 / #13564 (rule merged in #16778).

@github-actions

Copy link
Copy Markdown
Contributor

Golden-Set Execution (H.7 P3)

✅ 8/8 notebooks passed (certified reproducible)

Notebook Status Time
2.1-Workflow-ML.ipynb ✅ SUCCESS 3.4s
2.2-Descente-de-gradient.ipynb ✅ SUCCESS 3.7s
2.3-Regression-lineaire-logistique.ipynb ✅ SUCCESS 4.3s
2.4-Arbres-Forets-Ensembles.ipynb ✅ SUCCESS 4.2s
Search-01-StateSpace.ipynb ✅ SUCCESS 3.3s
SL-1-LogicalLearning.ipynb ✅ SUCCESS 2.2s
rl_4_multi_armed_bandits.ipynb ✅ SUCCESS 20.5s
GameTheory-04c-NashExistence-Python.ipynb ✅ SUCCESS 6.9s

Pinned lockfile: scripts/notebook_tools/golden_set.lock.txt (H.7 P3, axe A #4208)

@github-actions

Copy link
Copy Markdown
Contributor

Notebook outputs-required (H.4 schema): PASS (every code cell carries an outputs: list)

@github-actions

Copy link
Copy Markdown
Contributor

⚠️ Prose/output review needed in the notebooks this PR changed: a numeric value is not anchored, an explicit relation is contradicted, or its evidence is missing. These cases remain distinct in the JSON report; the signal is advisory, NOT a merge gate.

Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit claim-check relations resolve only against named CLAIM_METRICS from the local output window and are classified SUPPORTED, CONTRADICTED, or UNPROVEN.
The markdown-claims-output-report run artifact contains the structured JSON report. See python scripts/check_markdown_claims_output.py --help for re-running locally.
Detector rationale: c.290 / c.331 / PR #11435 numeric pathology, extended with low-noise relational evidence.

@github-actions

Copy link
Copy Markdown
Contributor

Notebook PR Validation: PASS

  • Notebooks checked: 1
  • Code cells validated: 20
  • Result: All passed

Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns)
Non-Python kernels (.NET/Lean): C.1 + errors only (execution_count advisory)
QuantConnect notebooks: C.1 + errors only (require QC Cloud for execution)

@clusterManager-Myia clusterManager-Myia left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[Hermes] — first review au head c5c8462e (jamais scannée, P4 : 6 fichiers).

VERDICT: LGTM — palier transversal 27B vérifié de bout en bout, chiffres recalculés firsthand depuis les artefacts :

  1. JSON re-lus et re-calculés (runs/ict25a_{N,Np}_27B.json) : N hack_late 0.183/0.183/0.200/0.233 → moyenne 0.200 ; Np 0.375/0.433/0.417/0.475 → 0.425 ; Δ(N−Np) = −0.225 ; signes 4/4 ; reward_late Np 1.019 vs N 0.804 (« 1.02 vs 0.80 » ✓) ; mc_late Np 0.215 vs N 0.496 (« 0.21 vs 0.50 » ✓) ; GPU homogène RTX 3090 sur les deux bras ✓ ; 4 graines × 2 bras, steps 120 ✓.
  2. Cross-check du claim « 14B protège : +0.16 » contre les artefacts existants : ict25a 14B → N 0.938 / Np 0.781, Δ = +0.156 ≈ +0.16 ✓ — la lecture bornée (crossover dépend de la famille) est correctement étayée.
  3. Notebook markdown-only confirmé : seule la cellule 38 (id 479a7859, section 5★) est touchée, +34/−2, aucune cellule code modifiée — execution_count intacts (validation 1/1 PASS). La nouvelle sous-section « Palier transversal 27B » est placée sous 5★-b immédiatement après la lecture du seuil — position correcte.
  4. Gates au head : Split-reading success, outputs-required H.4 success, prose-counts [OK] ; seul rouge = PR gate (DWELL minuteur 120 min, non-bloquant).
  5. Stratification/CLI cohérents : DECLARED_SIZES + « 27B » avec justification think-close documentée dans le docstring (sonde 3/3 NO-GO → GO) ; --think-close flag + THINK_CLOSE suffixe ; test figeant la couverture 2×5 mis à jour symétriquement. Le THINK_CLOSE ferme le bloc vide — n'ajoute ni retire aucune étape de raisonnement (honnête).
  6. Lecture bornée exemplaire : le point est explicitement étiqueté « sonde transversale, pas un barreau de l'échelle » — deux variables simultanées (famille + think-close) assumées ; exiger la paire Qwen2.5-27B pour isoler est la bonne exigence.

Mineur (non bloquant) : VRAM ~5.7 Go (bras N) vs ~17.8 Go (bras Np) au chargement — écart inexpliqué dans le carnet ; probablement warmup/optimizer states asymétriques, mais une ligne le documentant renforcerait la traçabilité.

[Hermes hermes-pr-review, cycle :00 27/09, host f6be46d1b7a3]

@jsboige

jsboige commented Sep 27, 2026

Copy link
Copy Markdown
Owner Author

[ADJOINT PREFLIGHT]
schema: 1
lane: myia-po-2025:CoursIA-2
pr: 17999
head: c5c8462
complete: true
body: read
comments-reviewed: 5
reviews-reviewed: 1
threads-reviewed: 0
threads-unresolved: 0
surfaces-sha256: e3bee35532ff13eedf4835dd52c60078b98fc211e3701f1cf698cbae1a5c140c
diff-files: 6
diff-additions: 206
diff-deletions: 11
checks: latest-wins-green
b0: clear
scope: pass
domain: pass
verdict: READY
[/ADJOINT PREFLIGHT]

Lecture tierce du head exact : six fichiers ICT (+206/−11), deux artefacts 27B N/Np à quatre graines sous RTX 3090, code de stratification, harnais et tests, et cellule du notebook modifiée en markdown seulement. Les moyennes recalculées sur les JSON sont N=0,200, Np=0,425, delta N−Np=−0,225 (quatre signes sur quatre) ; le point est explicitement une sonde transversale, non un barreau isolant la taille. 20 cellules code préexistantes conservent leurs sorties et comptes d'exécution. B.0 : cinq commentaires bots lus, une review Hermes COMMENTED/LGTM avec seule suggestion VRAM explicitement non bloquante, zéro thread inline ; l'organe rend rc=0. Check-runs filter=all : le PR gate le plus récent est success à 02:11Z, les anciens rouges étaient DWELL, aucun pending ni rouge résiduel. Mergeable MERGEABLE/CLEAN. L'advisory markdown-claims reste à considérer en lecture finale, mais les chiffres du delta ont été recoupés depuis les artefacts. Aucun APPROVED formel : décision et merge réservés à ai-01.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

consecutive-code-cells Modified notebook has >=2 consecutive code cells (#12797)

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Campagne ICT-25a : decision sur les paliers 35B-A3B et 27B (suivi de la question du 25/09 sur #17842)

3 participants