[EPIC #10355/#17578] Tranche C étape 3 : test externe humain du corpus — protocole et critères #20222

Grain: LIGHT/docs — lane myia-po-2025:CoursIA — prev: DEEP/genai #20217

Part of #17578 (tranche C) · EPIC grand-mère #10355.

Contexte (mesuré au 2026-10-10)

La tranche C du corpus académique est en cours de livraison : briques 1-2 livrées dans #20217 (corpus MAFALDA verbatim, licences vérifiées firsthand, zéro octet LOGIC committé, verdict NanoClaw LGTM sur les empreintes), étapes 1-2 (table d'alignement align_academic_to_argumentum.py) en vol chez po-2026 (#20028, OPEN). Le corps de #17578 fixe les critères des tranches B et C « à leur ouverture » — la présente issue est cette ouverture pour l'étape 3 : le test externe humain.

Objet : valider par des évaluateurs humains indépendants que les paires (texte académique, nœud de taxonomie) portent une étiquette qu'un humain peut retrouver — condition préalable à la Phase 3 (gate ai-01 : macro-F1 > baselines, ≥ 4 graines, Diebold-Mariano).

Critères d'acceptation (fixés à cette ouverture)

1. Échantillon : ≥ 200 paires tirées du corpus aligné, stratifiées (chaque famille de premier niveau ≥ 10 paires), graine fixée et consignée, empreinte SHA-256 du fichier tiré dans le rapport.
2. Raters : ≥ 3 évaluateurs humains indépendants, sans accès aux étiquettes cibles ni aux définitions au moment de l'annotation nue (un second passage « avec définitions » est optionnel et séparé).
3. Accord inter-annotateurs : alpha de Krippendorff annoncé AVANT la mesure ; seuils proposés : ≥ 0,60 sur le nœud exact, ≥ 0,70 sur la branche de premier niveau.
4. Exactitude humaine vs étiquette corpus : rapportée aux deux mêmes niveaux (feuille exacte + branche de premier niveau), avec intervalle de confiance binomial (Wilson).
5. Désaccords : toute paire à désaccord majoritaire part en re-vue avec la définition du nœud visible ; verdict consigné ; aucune réécriture silencieuse du corpus (une correction éventuelle passe par PR dédiée avec justification).
6. Livrable : protocole + fichier d'annotations + rapport. Les annotations et le rapport vivent hors dépôt (GDrive, données PII des évaluateurs) ; seul un agrégat anonymisé peut être cité dans une PR.

Hors périmètre

• Corpus FR 13 classes du projet EPITA : évaluation hors dépôt possible, jamais versionné (confidentialité posée par le projet, commentaire du 2026-08-30 sur [EPIC #10355] Phase 2/5 : dataset par produit cartésien Scénarii × taxonomies Argumentum (sophismes + vertus) #17578).
• Tout entraînement / Phase 3 : autre fille de [EPIC #10355] Phase 2/5 : dataset par produit cartésien Scénarii × taxonomies Argumentum (sophismes + vertus) #17578.

Partie arbitrage user

Le panel d'évaluateurs (qui sont les humains, rémunération ou non, fenêtre) : décision user requise — portée au registre des questions de la lane. Sans réponse, l'issue reste ouverte sans se dégrader ; les critères 1-2 (échantillon, protocole) restent préparables.