Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,36 @@
Corpus aligne MAFALDA gold -> grille Argumentum (critere 1 de #20222)
=====================================================================

Provenance
----------
- Textes : gold_standard_dataset.jsonl MAFALDA (Helwe, Calamai, Paris, Clavel,
Suchanek, NAACL 2024, arXiv:2311.09761), acquis verbatim au commit amont
0df434477b914a20f55c0592ba05a53fe924c65b — cf NOTICE-MAFALDA parent.
- Grille cible : chaque span annote est projete par la table d'alignement
logic_mafalda_to_argumentum.csv (#20315, reprise de #20028).
- Licence : derive d'un corpus CC-BY-SA 4.0 — ShareAlike. Ce fichier derive
herite la mention et l'attribution ci-dessus. Aucun octet LOGIC commite.

Construction (join_report.json porte les effectifs)
---------------------------------------------------
225 paires : 128 exactes (egalite insensible a la casse label du span /
academic_label de la table), 97 par pont declare (subsumption documentee,
un rationale par pont dans DECLARED_BRIDGES du builder), 44 exclues avec
motif (nothing, to clean, labels sans entree L2 honnete).

Unicite (texte, noeud) garantie a l'emission : trois spans du gold portent
deux libelles roulant vers le meme noeud Obstruction/Ad hominem ("ad hominem"
exact + "guilt by association" pont) ; la paire ne sort qu'une fois et les
libelles fusionnes vivent dans source_labels (regressee par
test_duplicate_labels_same_node_merged_once apres la campagne run1 livree
avec 2 item_id en double, c.6373865101).

Famille Tricherie : 0 paire source, mesure sur le gold entier — aucun span
MAFALDA ne porte le label L2 "Fallacy of proportion". L'echantillon run1
(critere 1 de #20222) est donc stratifie sur les 6 familles ayant du
materiel ; l'ecart au critere (7 familles attendues) est consigne sur
l'issue, pas silencieux.

Rejouer : python scripts/fallacy_detection/build_aligned_eval_corpus.py
--gold .../MAFALDA/gold_standard_dataset.jsonl --table
.../logic_mafalda_to_argumentum.csv --out-dir <ce repertoire>
Loading
Loading