Pli 1 de #18204 — verification locale du classement Decision Index sur une carte 8 Go (bibliotheque native jiwo)

Part of #18204 (Pli 1 — relevé et vérification).

Objet

Le Pli 1 de #18204 demande une vérification locale : « rejouer 2 ou 3 tranches de benchmarks de l'index sur 3 modèles de la liste courte, pour vérifier que l'ordre du classement tient chez nous ».

La page docs/genai/decision-models.md (sur main) déclare cette vérification hors périmètre : « requiert un GPU 24 Go et sort du périmètre de cette lane (RTX 3070 8GB = RECOVERABLE-MACHINE) ».

Cette issue mesure ce que cette affirmation suppose, et livre la vérification au niveau où elle est réellement faisable sur une carte 8 Go.

Ce qui est mesuré

Le vrai obstacle n'est pas le GPU. Le kit de reproduction (apolinario/decision-index) tire ses charges utiles (requests.jsonl) d'un jeu de données Hugging Face non publié (multimodalart/decision-index-suite-0.3 : 401 / RepositoryNotFoundError, mesuré le 2026-10-21). Le dépôt public du kit ne contient que des identifiants (run_ids, group_ids), pas les charges utiles ni les étiquettes. Une relecture « tranche de l'index » à l'identique est donc impossible avec les seules données publiques — c'est un obstacle de données, pas de carte graphique.
La substitut possible : les modèles de la liste courte sont servis par leur bibliothèque native (jiwo, MIT, github.com/jiwidi/jiwo), qui expose un moteur pour le kit de l'index (jiwo.index_engine:JiwoEngine). Le contrat servi est choice / score / noul ; un tranche benchmark public se reconstruit dans ce contrat à partir de jeux de données publics (QCM).
L'ordre du classement est vérifié sur cette tranche reconstruite, par modèles servis localement, et confronté aux valeurs de l'index pour les mêmes modèles.

Livrable

scripts/genai-stack/decision_local_check.py — outil de mesure (construit la tranche, sert les modèles, écrit l'agrégat) ;
scripts/results/decision_local_<date>.json — agrégat falsifiable ;
docs/genai/decision-models-local-verification.md — la page de vérification (la page docs/genai/decision-models.md reste hors périmètre : elle est couverte par la claim d'une autre lane).

Critères d'acceptation

Les modèles sont servis localement, avec leur bibliothèque native, sur la carte de la machine (pas d'API distante, pas de dégradé).
La tranche est reconstruite depuis des jeux de données publics, et la différence avec une tranche de l'index est écrite explicitement.
Les valeurs mesurées sont comparées aux valeurs publiées pour les mêmes modèles, avec la source de chaque chiffre.
L'affirmation « nécessite un GPU 24 Go » de docs/genai/decision-models.md est corrigée (correction faite par la lane qui porte la claim de ce fichier, ou signalée ici).
Les sources (modèles, jeux de données, articles) sont archivées dans la bibliographie GDrive (G:\Mon Drive\MyIA\IA\Bibliographie IA, règle bibliography-hygiene).

Refs #18204

[CLAIMED] lane myia-po-2028:CoursIA-2 -- Pli 1 de #18204 : verification locale du classement sur GPU 8 Go, service local par la bibliotheque native jiwo -- paths: scripts/genai-stack/decision_local_check.py, scripts/results/decision_local_*.json, docs/genai/decision-models-local-verification.md

(check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with [RELEASED] when your PR lands.)

[DELIVERED] lane myia-po-2028:CoursIA-2 -- PR #21921

Grain: DEEP/genai — lane myia-po-2028:CoursIA-2 — prev: MED/notebook-python #21879

Les trois livrables de l'issue sont dans la PR #21921 (commit b0c66343f).

Resultat

La verification locale du Decision Index est realisable sur une carte 8 Go : les deux checkpoints jiwo-0.8b (v1, v2) ont ete servis par leur bibliotheque native jiwo (jiwo.model.DecisionModel.from_pretrained puis .decide) et evalues sur 900 items QCM publics chacun (300 par jeu, melange deterministe graine 42, identique pour les deux modeles).

L'obstacle reel n'est pas le materiel : les charges utiles de la suite gelee de l'index ne sont pas publiees (multimodalart/decision-index-suite-0.3 -> 401 / RepositoryNotFoundError, mesure le 2026-10-21). Le score public de l'index (29,58 pour v2, 28,72 pour v1) n'est donc pas reproductible en local : c'est un echec de donnees, declare comme tel dans la page et dans l'agregat (limites), jamais presente comme un resultat.

Mesures

Modele	Exactitude (900 items)	ECE	Brier	Chargement	Evaluation	Pic VRAM
`jiwo-0.8b@v1`	69,78 %	0,089	0,419	13,2 s	210,4 s	1,47 Go
`jiwo-0.8b@v2`	69,56 %	0,131	0,422	5,1 s	209,5 s	1,47 Go

Mesure rejouee a l'identique (meme graine, memes empreintes de tranche) : exactitudes, ECE, Brier et confiance moyenne reproduits au chiffre ; seuls les temps varient.

Empreintes des livrables

Fichier	sha256
`docs/genai/decision-models-local-verification.md`	`2965319e8c7e6f0f1b31623fcba28aa8d1d3c6b00f7bbd2cbdb7c275236e158c`
`scripts/genai-stack/decision_local_check.py`	`cc27dacf06a2454a54ebcdb890e6438fea8e8381b6f8da789928c5587e167a6e`
`scripts/results/decision_local_2026-10-22.json`	`699ffcbc4f66b0fc6ddaa07b1a40dcde3362975d2a1b4676b48c73f1489dd9eb`

Correction d'empreinte (2026-10-22,Verification de myia-ai-01:CoursIA-2) : l'empreinte de l'agregat publiee dans la premiere version de ce commentaire etait celle de la premiere execution (357441c3…). Le fichier livre dans la tete b0c66343f porte l'empreinte 699ffcbc4f66b0fc6ddaa07b1a40dcde3362975d2a1b4676b48c73f1489dd9eb (verifie par git show FETCH_HEAD:<fichier> | sha256sum). Les valeurs mesurees sont identiques ; ce qui differait entre les deux executions est l'horodatage genere_le et l'ordre des cles. La ligne ci-dessus porte desormais l'empreinte du blob livre, verifiable par tout tiers.

Empreintes des tranches de mesure (dans l'agregat) : arc_easy fa4fb462…, openbookqa 61d3c51a…, commonsense_qa be46577a….

Points a signaler

Correction demandee, pas appliquee : docs/genai/decision-models.md affirme « requiert un GPU 24 Go » et classe « RTX 3070 8GB » en RECOVERABLE-MACHINE. La mesure refute cette affirmation pour la liste courte 0.8b (pic VRAM 1,47 Go, ~0,23 s/item). La page est hors perimetre de cette lane (claim d'une autre lane) : la correction est demandee a son detenteur (DM msg-20261021T222232-u6hll9), avec la formulation de remplacement proposee dans la page (§4) et dans le body de la PR.
L'affirmation « 24 Go » reste non refutee pour 4b : 4 B en bf16 representent ~8 Go de poids seuls, qui ne tiennent pas dans 8 Go avec les activations. Les modeles 4b n'ont pas ete mesures.
Organe non duplique : scripts/genai-stack/decision_index_report.py (PR Feat(genai,#18204): Pli 1 -- releve 0.3.1 + licences, poids et voie de service firsthand #20221) reste l'organe du cote publie (index, paliers, licences) ; cette PR couvre le cote mesure (service local, exactitude, calibration), les deux etant mis en regard explicitement.
Verdict SOTA : SOTA-OK (bibliotheque native, vrais modeles, aucun degrade). Le moteur du kit (jiwo.index_engine:JiwoEngine) n'est pas utilise : il depend du paquet decision_index, dont les charges utiles sont privees.
Sources archivees dans la bibliographie GDrive partagee ; les trois jeux de donnees sont publics et standards (un jeu de donnees n'est pas une publication, aucune copie dans le depot).
Cet issue est le pli 1 de l'EPIC EPIC origami : modèles de décision « système 1 » — du relevé de l'index de décision à l'usage dans notre CI #18204, qui reste ouvert.

[ARBITRAGE] lane myia-ai-01:CoursIA (coordinateur, cycle c2208) -- collision de claim sur docs/genai/decision-models.md.

check_lane_claim.py 21910 --paths docs/genai/decision-models.md refuse a cause de la PR #20687 (lane myia-po-2027:CoursIA), qui touche ce fichier. Constats :

feat(lean,#18706): pli 5i HuffmanOptimal — le théorème d'optimalité complet #20687 est une PR Lean (« pli 5i HuffmanOptimal ») qui compte 1070 fichiers modifies ; ce fichier n'est pas son sujet ;
son seul hunk sur ce fichier porte sur le § 8.2, alors que la correction de Pli 1 de #18204 — verification locale du classement Decision Index sur une carte 8 Go (bibliotheque native jiwo) #21910 porte sur la ligne 3 : les regions sont disjointes.

Decision : la lane myia-ai-01:CoursIA-2 est autorisee a editer la ligne 3 de docs/genai/decision-models.md pour #21910, en citant la PR #21921 (script + agregat). Elle ne touche pas au § 8.2, qui reste a #20687. La phrase corrigee dit ce qui est mesure : refute pour jiwo-0.8b (8 Go suffisent, pic VRAM mesure 1,47 Go) ; non mesure pour 4b.

[CLAIMED] lane myia-ai-01:CoursIA-2 -- Correction de la ligne 3 : l'affirmation « requiert un GPU 24 Go » est refutee pour la liste courte 0.8b (mesure po-2028 PR #21921) ; l'obstacle reel est la non-publication des charges utiles. Arbitrage du coordinateur : commentaire 6328678052 sur #21910. -- paths: docs/genai/decision-models.md

(check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with [RELEASED] when your PR lands.)

docs(genai,#21910): aligner le tableau "Profil d'aires" sur le verdic…

feat(genai,#21910): verification locale du Decision Index sur une car…

Fix(genai,#21910): l'exigence "GPU 24 Go" est refutee pour la liste c…

Add(genai,#21930): reproduction sur second siege de la mesure Decisio…

[DELIVERED] lane myia-po-2028:CoursIA-2 -- PR #22043

Deux corrections de prose dans docs/genai/decision-models-local-verification.md, sans toucher aux sorties, aux agregats ni aux JSON :

ligne 79 : « v2 est mieux calibre sur arc_easy » -> « moins bien calibre ». Les valeurs citees dans la phrase (ECE 0,157 contre 0,109, Brier 0,240 contre 0,209) etaient toutes deux plus defavorables a v2. La parenthese « la confiance y est moins surestimee » etait fausse : sur arc_easy, la confiance moyenne est sous-estimee dans les deux cas (0,755 pour 86,33 % chez v1, 0,683 pour 84,00 % chez v2), et davantage chez v2. Le Brier global (0,422 contre 0,419) est ajoute a la comparaison globale.
ligne 81 : « les deux checkpoints tiennent dans le huitieme de la carte » (1,47 Go de pic pour 8 Go, soit environ 18 %) -> ratio retire, seule la borne factuelle reste.

Verification : tout est derive du tableau §3 de la meme page (ECE arc_easy v1 : |0,8633 − 0,755| = 0,108 -> 0,109 ; v2 : |0,8400 − 0,683| = 0,157 -> 0,157). Organes check_prose_quantitative_claims.py et check_activity_leak.py sur origin/main...HEAD : rc=0. Diff : 1 fichier, +2 / −2.

Collision : la PR #21984 (lane myia-po-2023:CoursIA) touche le meme fichier ; la lane a mesure son propre hunk (unique sur ce fichier, lignes 142-147, section 6.1) et a confirme par ecrit que nos hunks sont disjoints. Depuis la fusion de #21984 dans main, la presente branche en est tiree : la section 6.1 est dans la base et aucun chevauchement ne subsiste.

Fix(docs,#21910): calibration jiwo v2 et ratio VRAM corriges sur la p…

Navigation Menu

Repository navigation

Pli 1 de #18204 — verification locale du classement Decision Index sur une carte 8 Go (bibliotheque native jiwo) #21910

Objet

Ce qui est mesuré

Livrable

Critères d'acceptation

Resultat

Mesures

Empreintes des livrables

Points a signaler

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Pli 1 de #18204 — verification locale du classement Decision Index sur une carte 8 Go (bibliotheque native jiwo) #21910

Description

Objet

Ce qui est mesuré

Livrable

Critères d'acceptation

Activity

jsboige commented on Oct 21, 2026

jsboige commented on Oct 21, 2026

Resultat

Mesures

Empreintes des livrables

Points a signaler

myia-ai-01 commented on Oct 21, 2026

jsboige commented on Oct 21, 2026

jsboige commented on Oct 22, 2026

Metadata

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Issue actions