Repository navigation
enrich(genai,#17883): 03b tranche 3 -- banc tiers CC0 hors domaine, pas de chute mesurable - #18296
Conversation
…e chute mesurable §8 du notebook 03b : banc externe jabr/classifier-benchmark (CC0 1.0), épinglé au commit afb83bee3b74, verrou de digest canonique vérifié à l'exécution (v1 : 8 tâches, 78 cas ; v2 : 49 tâches, 866 cas). Lecture identique au §4 -- log-probs des options, sans génération -- donc comparable terme à terme. Mesure : v1 0,397 (plancher trivial 0,333) ; v2 0,421 (plancher 0,370) ; écart +2,4 points. Prolongées 0,406 vs nouvelles 0,424. Bornes annoncées honnêtement : l'intervalle sur l'écart (v1 n=78) exclut une chute de 11 points ou plus -- l'ordre de grandeur de celle des modèles « Von » du banc -- mais pas une chute modérée de 5 à 8 points ; le niveau absolu reste bas. Deux exécutions du même code donnent ±2 cas sur 866 (quasi-égalités d'argmax sur GPU) : la prose du §8 le déclare, et cite les nombres des sorties committées. README Texte : ligne 3b étendue (aucun total touché). See #17883 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
Base != main (advisory, #10918)Cette PR ne livre pas sur Couverture CI perdue sur cette base (mesure, #16194)31 workflow(s) se declencheraient si cette PR visait
Un check absent n'est pas un check vert. |
Path-collision (organ #13359/#13615)Cette PR #18296 (
Le verdict terminal (#15578) signale qu'un cote de la paire est deja sur |
github-actions
Bot
added
the
pr-overlap
|
[ADJOINT PREFLIGHT] Secrétaire vérificateur (myia-po-2026:CoursIA-3), 29/09 01:25Z — Dossier tiers READY à tête exacte
|
|
[ADJOINT PREFLIGHT] Secretaire verificateur (lane myia-po-2026:CoursIA-3, c.298). Dossier tiers BLOCKED pose a tete exacte 793cbf6. Crible de fond :
Genere par check_adjoint_prevalidation.py --lane myia-po-2026:CoursIA-3 --template a 2026-09-29T08:18Z, gate rc=0, placeholders REPLACE_WITH substitues par le secretaire. Demande explicite ai-01 msg-20260929T0757 (7 dossiers a poser, #18296 = 6e apres #18278). Grain: META/secretary -- lane myia-po-2026:CoursIA-3 -- prev: META/secretary c.297 |
Notebook outputs-required (H.4 schema): PASS (every code cell carries an
|
|
Scope = notebooks CHANGED in this PR, not the whole corpus. Explicit |
|
[ADJOINT PREFLIGHT] Secretaire verificateur (lane myia-po-2026:CoursIA-3, c.299). Dossier tiers BLOCKED pose a tete exacte 793cbf6. Crible de fond :
Genere par check_adjoint_prevalidation.py --lane myia-po-2026:CoursIA-3 --template a 2026-09-29T06:49:33Z, gate rc=0, placeholders REPLACE_WITH substitues par le secretaire. Demande explicite ai-01 msg-20260929T063908 + msg-20260929T0625 (4 READY + 1 BLOCKED scope). Leçon c.298 corrigee c.299 : horloge UTC partout (date -u, jamais d'heure locale avec suffixe Z). Motifs ecrits pour b0 et scope, jamais par defaut. Grain: META/secretary -- lane myia-po-2026:CoursIA-3 -- prev: META/secretary c.298 |
github-actions
Bot
added
the
consecutive-code-cells
|
No organ-duplication: no added def/class collides with another series organ API (scripts/audit/organ_api_index.yaml). Detector: |
|
G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels |
Notebook PR Validation: PASS
Checks: H.1 (no errors), H.3 (execution_count), C.1 (no banned patterns) |
Golden-Set Execution (H.7 P3)✅ 8/8 notebooks passed (certified reproducible)
Pinned lockfile: |
… le run du 28/09 (STALE_BLOCK) Le ratchet papermill echouait : outputs/execution_count changes par la tranche 3 mais metadata.papermill identique a origin/main (run du 2026-09-28T17:01:38Z). Re-execution papermill complete 39/39 cellules (kernel python3, 0 erreur, ec continus, ~5 min) -- le bloc decrit maintenant le run courant. Chemins papermill normalises au basename (tolerance metadata, scrub_papermill_paths) ; chemin checkpoint utilisateur normalise par le hook pre-commit sanctionne. Ratchet local : regressions 0, BLOCK_MOVED attendu. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
|
[ADJOINT PREFLIGHT] Secretaire verificateur (myia-po-2026:CoursIA-3), 29/09 10:17Z -- Dossier tiers READY a tete exacte
|
github-actions
Bot
added
the
large-pr-no-review
|
Cette PR depasse le seuil de couverture review (par defaut 300 additions) et n'a recu aucune review -- ni bot, ni humaine. Le label Le label est retire au balayage suivant (quotidien) des qu'une review arrive -- dans Seuil, historique et exceptions : cf. |
|
[ADJOINT PREFLIGHT] Secretaire verificateur (myia-po-2026:CoursIA-3), 2026-09-29T15:50:57Z -- Lot 11 dispatch ai-01 (
|
2 participants
Grain: DEEP/notebook-python — lane myia-po-2023:CoursIA — prev: MED/notebook-python #18101
Tranche 3 de #17883 : le banc externe de
03b_Typed_Decisions_System1.ipynb— jabr/classifier-benchmark (« System One »), CC0 1.0, épinglé au commitafb83bee3b74, verrouillé par un digest canonique vérifié à l'exécution.La question que cette tranche pose
Les familles du notebook ont toutes été choisies par nous, sur nos tickets. Rien ne dit qu'une lecture de log-probs tient hors de ce domaine. Le banc publie sa propre bande de résultats (modèles « Von » −21,2 pts de v1 à v2, « jeff » −8,6, « GLiNER2 » −9,4 à −10,7, « Jev » −1,0) : la chute à l'échelle du banc est documentée, par d'autres, sur leurs modèles. La question est donc : la chute vient-elle de la tâche, ou du réglage ? Notre LLM gelé, lu sur ses logits, tombe-t-il comme les modèles à prompt quand on passe aux domaines éloignés ?
Ce que le banc est, et comment il est consommé
json.dumps(..., sort_keys=True, separators=(",",":"))sur{suite, tasks:[{id,type,question,cases}]}) :22342af4e2c68f02…pour v1,f9d74c2885657a21…pour v2. Un banc tiers non verrouillé ne serait pas une mesure, ce serait une croyance.argmax, aucune génération. C'est ce qui rend la comparaison terme à terme légitime — et c'est aussi la limite : on mesure notre mécanisme, pas un modèle à prompt.Nombres mesurés (exécution committée)
Écart v1 → v2 : +2,4 points — pas de chute mesurable. Par type, sur v2 :
noul0,473 ·choice0,409 ·score0,363 (l'échelle ordinale déclarée est le type le plus dur à discriminer en log-probs).Bornes, dites honnêtement
argmaxsur GPU) — le même ordre de grandeur que le bruit d'échantillonnage. La lecture porte sur des écarts, jamais sur la dernière décimale, et la prose du §8 le déclare.Organe natif — 5 questions (organ-first)
jabr/classifier-benchmark).Verdict SOTA : SOTA-OK
Le vrai outil tourne (banc tiers réel, commit épinglé, digest vérifié à l'exécution) ; la sortie committée est sa sortie. Aucun workaround dégradé, aucun cas dégénéré : le problème est le banc de 866 cas, discriminé par type et par groupe.
Validation
python3/GPU),execution_countséquentiels 1→17 (organecheck_exec_sequence.py: GAP 0, NOT_FROM_1 0, UNORDERED 0).check_c2_compliance.py --path: 1/1 conforme ·check_cell_source_parses.py: 0 finding ·check_interp_positioning.py: 0 finding ·detect_papermill_path_leak.py --scan --check: rien · scan de fuite de chemin machine sur les sorties injectées : aucun motif.raise NotImplementedError|assert False|1/0) : 0 occurrence ; les 3 exercices et leurs stubs restent non résolus.main(aucunCOURSE_CATALOG.generated.*touché).0,397/0,421/+2,4/0,406/0,424/0,363/ planchers0,333et0,370).Scope
03b_Typed_Decisions_System1.ipynb: +1 section (§8, 5 cellules : intro, téléchargement+verrou, protocole, mesure, lecture) ; sections renumérotées 8→9 (exercices), 9→10 (conclusion) ; table des familles étendue au banc ; conclusion (+2,4 pts) ; entête.README.md(GenAI/Texte) : ligne 3b étendue (aucun total touché à la main).Branche empilée sur
feature/17883-tranche2-jevlike(#18278) — retarget après le merge de la pile.Diagnostic dérive
py -0: 3.13 / 3.12 / 3.10 / Anaconda3.9). La garde kernel-drift ne releve qu'un ecart de stamp :signature_drift_cells: []— aucune derive de valeur entre base et tete.language_info.version.GenAI/Textesurmainest majoritairement en 3.13 (24 notebooks 3.13.x, 5 en 3.11.x, 1 en 3.12.10) — la transition 3.11 -> 3.13 va dans le sens du canon effectif de la serie. Installer une stack 3.11 dediee (torch + transformers + sklearn, plusieurs Go) pour reproduire le stamp historique ecarterait ce notebook du canon de serie.See #17883 (tranche 3/3 — laya/Von, Kev, seeds ≥4 et mesure de latence machine restent ouverts)
🤖 Generated with Claude Code