Skip to content

Organe #22910 : distinguer une revendication de RESULTAT d'une constante ou d'une valeur derivee (2 familles de faux positifs qui dominent la hausse du corpus) #24610

Open

Description

@jsboige

Part of #22910

Constat

Le durcissement des clauses (a) et (c) de _fuzzy_present (scripts/check_markdown_claims_output.py, PR #24609) fait remonter des constats que l'ancien laxisme masquait. La mesure avant/apres sur le meme arbre :

carnets constats FABRICATION CLEAN
avant 1751 10758 1244 507
apres 1751 11197 1258 493

Delta : 227 carnets touches, 422 claims ajoutes, 0 retire ; 12 a 14 carnets passent de CLEAN a FABRICATION_DETECTED.

Classification a la main d'un echantillon de 14 nouveaux constats :

  • ~9 : constantes et parametres d'entree — le carnet annonce une constante de configuration (un seuil, une taille de grille, une valeur par defaut) que la sortie ne reproduit pas. Ce n'est pas une fabrication de resultat : la valeur n'est pas un resultat, elle n'a pas a etre dans la sortie.
  • ~4 : valeurs derivees — differences, pourcentages, series que la sortie presente sous une forme agregee (... sur 5 essais) ou avec une autre granularite.
  • ~1 : vrai positif (4,267 annonce, sortie 4.26) — la fabrication que l'organe cherche.

Deux familles de faux positifs dominent donc la hausse : l'organe confond « une valeur citee » et « un resultat affiche ».

Ce qui est demande

Deux choses, dans cet ordre :

  1. Discriminer la nature de la revendication avant de la confronter a la sortie. Un constat ne devrait etre FABRICATION que si la revendication presuppose une sortie (un resultat, une mesure, un chiffre calcule par le carnet). Une constante d'entree, un parametre de configuration, un seuil, une valeur de depart : la confrontation a la sortie n'a pas de sens.

    Une voie possible : un predicat de nature sur le contexte markdown (la cellule annonce-t-elle un resultat ?) plutot qu'une liste de valeurs. Un detecteur de la forme « la revendication est-elle un hyperparametre ? » serait fragile (une liste de noms n'echoue pas) — la regle de ce depot (organ-first) impose de nommer l'organe existant si un autre series le possede.

  2. Traiter les valeurs derivees : une revendication « X vaut 12 % » face a une sortie qui affiche la serie dont 12 % est issu n'est pas une fabrication ; c'est une derivation. Le predicat de derive est plus dur que celui du prefixe (il n'a pas de forme fixe) : d'ou une issue de mesure a part plutot qu'un patch dans le meme PR.

Contraintes

Preuve de depart

Activity

  1. added a commit that references this issue on Nov 4, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions