[EPIC] Verification des citations arXiv dans les notebooks — 83 notebooks, 107 IDs, partition par famille

[myia-ai-01]

Pourquoi maintenant

Trois défauts d'attribution ont été trouvés en trois jours, dans trois familles différentes, chacun découvert par hasard plutôt que par une passe :

| Défaut | Notebook | Nature | État |

|---|---|---|---|

| Sendov attribué à T. Tao | Lean-19 / Lean-20 | mauvais auteur (la preuve est de Lech Mazur) | corrigé e1ad7868a (#11065) |

| Gill (2011) → Comptes Rendus | Infer-3 / PyMC-3 | mauvais journal (c'est Statistica Neerlandica 65(1)) | corrigé #11160 |

| « Lidman (2014), On the Heegaard Floer homology of K11n102 » | Lean-17-Knots-b | article inexistant — année, titre et journal fabriqués | #11110, PR #11163 en cours |

Aucun n'a été trouvé par un contrôle : le premier par un nit user, les deux autres par une lecture attentive. Une classe de défaut qui se découvre par hasard trois fois en trois jours n'est pas une série de coïncidences — c'est une surface non couverte.

C'est une régression pédagogique sérieuse et pas une coquille : un notebook de cours qui attribue un théorème à la mauvaise personne, ou qui renvoie l'étudiant vers un article qui n'existe pas, enseigne quelque chose de faux et détruit la confiance dans tout le reste du document.

La surface, mesurée

notebooks citant un arXiv ID : 83

IDs arXiv distincts           : 107



famille            notebooks    IDs

GenAI                     18     53

QuantConnect              16     44

ML                        16     41

SymbolicAI                12     16

IIT                        9     12

RL                         4      8

Probas                     6      7

FallacyDetection           2      5

(Hors _archives/ et .ipynb_checkpoints, cellules markdown seulement.)

Plus largement, 335 notebooks portent au moins une citation de forme Auteur (année) — 795 au total. Le sous-ensemble arXiv est retenu comme périmètre de cette issue parce qu'il est le seul mécaniquement vérifiable : l'API arXiv rend titre et auteurs pour un ID donné, donc le verdict est objectif et non une appréciation. Le reste (journaux, livres) demande un jugement et relève d'un traitement au cas par cas.

Méthode par grain

Un grain = une famille. Pour chaque ID arXiv cité dans les notebooks de la famille :

1. Interroger https://export.arxiv.org/api/query?id_list=<ID> — récupérer title, tous les author/name, published.

   Corrigé le 2026-08-16 — la version initiale de cette ligne prescrivait http://, et c'est un fabricant silencieux de faux ID-FANTÔME. Le endpoint http renvoie 301 avec un corps vide : sans -L (ou sans https://), un script récolte 0 octet, ce qui est indiscernable de « cet ID n'existe pas ».

   curl -s http://export.arxiv.org/... -> status=301 size=0 (lu comme "aucune entrée")

   curl -sL https://export.arxiv.org/... -> status=200 totalResults=3

   Garde-fou obligatoire dans tout script de tranche : asserter totalResults == len(ids) et échouer bruyamment sur un corps vide. Un audit qui ne distingue pas « l'API n'a rien répondu » de « l'ID n'existe pas » ne mesure pas ce qu'il annonce — et son mode d'échec est de faire supprimer une citation valide, c'est-à-dire d'introduire exactement le défaut que cette epic corrige.

2. Comparer aux trois choses que la prose du notebook affirme : le titre, le ou les auteurs, l'année.

3. Poser un verdict par citation :

| Verdict | Critère |

|---|---|

| OK | titre, auteurs et année concordent |

| DRIFT-MINEUR | l'ID est bon, un détail diverge (année de v1 vs v2, prénom abrégé) → corriger sans cérémonie |

| MAUVAISE-ATTRIBUTION | l'ID est bon mais la prose nomme un autre auteur → corriger, c'est la classe Sendov |

| ID-FANTÔME | l'API ne renvoie rien, ou renvoie un article sans rapport → la référence est fabriquée, chercher la vraie source |

4. Corriger dans le notebook. Si une cellule de code est touchée, re-exécuter (C.2/C.3) ; une passe markdown seule ne demande pas de re-exécution.

Le piège à ne pas retomber dedans

Établir qu'une référence est fausse ne dit rien de l'attribution. Ce sont deux propositions distinctes, et #11163 a failli livrer l'erreur miroir : ayant correctement établi que « Lidman (2014), On the Heegaard Floer homology of K11n102 » n'existe pas, la PR concluait « attribution fabriquée » et retirait le nom de Lidman partout — alors que la vraie source (arXiv:2606.12431, The unknotting number of 11n102 is 2) est signée Tye Lidman, auteur unique. Le notebook citait le bon auteur pour la mauvaise référence.

Donc : après avoir trouvé la vraie source, lire qui l'a signée avant de conclure. Un correctif d'attribution ne doit jamais produire une désattribution.

Acceptation, par grain

• Chaque ID arXiv de la famille porte un verdict écrit parmi les quatre ci-dessus.

• Toute MAUVAISE-ATTRIBUTION et tout ID-FANTÔME est corrigé dans le notebook, avec la source réelle citée auteur inclus (**Nom Prénom (année)** — *Titre*, arXiv:ID).

• Les OK sont listés (compte suffit), pour que le grain suivant ne les re-vérifie pas.

• Si des cellules de code sont modifiées : re-exécution papermill + outputs committés.

Partition

Une famille = un grain = une PR, [CLAIMED] … paths: sur le chemin de la famille pour que deux lanes puissent travailler en parallèle sans se bloquer (scopes disjoints, cf #10419). Genre = le genre de notebook de la famille (CONTENU), tier MED en général — DEEP si la passe déterre une refonte de section.

Ordre suggéré par densité : GenAI (53) · QuantConnect (44) · ML (41) · SymbolicAI (16) · IIT (12) · RL (8) · Probas (7) · FallacyDetection (5).

État des tranches (réécrit 2026-09-01 par ai-01 — le tableau du 2026-08-16 n'avait jamais suivi ses propres livraisons)

Les 8 familles sont couvertes et mergées. Aucune n'est à repiocher. Le tableau précédent laissait ML, SymbolicAI et Probas en « ouvert — bloqué », alors que leurs correctifs étaient mergés dès le 2026-08-16/17. Trois lanes ont pu lire ces trois lignes comme du travail disponible ; c'est le défaut que cette réécriture supprime.

Famille	IDs	Passe 1	Passes suivantes	État
FallacyDetection	5	#11169	—	mergé
GenAI	53	#11181	—	mergé
QuantConnect	44	#11183	#11235 (Markowitz 7(2)→7(1)), #12832 (GAE 2016/ICLR → 2015 arXiv-only, réf. Yun 2024)	mergé
IIT	12	#11189	#11295 (ICLR 2022 Power et al. ; §-pointeur 2511.18397)	mergé
RL	8	#11191	#11225 (titre HER sans accent), #12838, #13349 (drift cellule 27 rl_6c_ppo_from_scratch)	mergé
ML	41	#11187	#11242 (4 pointeurs de section ESL), #12824 (Xi survey 2025→2023, 12 occ. + titre Advani-Saxe)	mergé
SymbolicAI	16	#11188	#11386 (16 IDs vérifiés, date IMO 2025 corrigée sur Lean-7b)	mergé
Probas	5 (7 annoncés)	#11192	#11272 (19 pointeurs de section faux/fabriqués, 14 notebooks)	mergé
GameTheory (passe 2)	—	—	#13887 (vérif. identités + retrait d'un suffixe fabriqué sur GT-13)	mergé

25 PRs mergées citent cette EPIC. Deux lanes l'ont vérifiée firsthand et indépendamment le 2026-08-31 : myia-po-2024:CoursIA-2 (c.773, gh search prs sur origin/main) et myia-po-2023:CoursIA-2 (c.818).

Le compte d'IDs par famille dans « La surface, mesurée » reste un snapshot du 2026-08-15. Chaque tranche a mesuré moins d'IDs que ce snapshot (Probas : 5 réels contre 7 annoncés — 2 fragments de DOI Wiley captés par le scan bare-ID). Le rescan de la tranche fait foi, pas le snapshot.

Ce qui survit à cette EPIC (et n'a pas besoin d'elle)

Le rollout rétroactif est fini ; trois choses restent vivantes et sont portées ailleurs :

1. La règle de prose future — une phrase qui renvoie à une section nommée d'un papier se vérifie contre le PDF, jamais contre l'API (section « Ce que ce périmètre ne couvre PAS » ci-dessous). Elle s'applique à toute nouvelle rédaction, sans tranche ni tracker.
2. Le garde anti-drift — registre régénéré depuis les diffs réels + test anti-RENAMED (fix(arxiv,#12900): registre régénéré depuis les diffs réels + test anti-RENAMED #12941), qui a attrapé son propre drift sur RL (fix(arxiv,#12853): drift rl_6c_ppo_from_scratch cell 27 obsolète — guard attrape son propre drift #13349). C'est un organe, pas une tranche : il tourne, il n'a pas besoin d'une EPIC ouverte au-dessus de lui.
3. Les passes 2 par famille, quand une famille reçoit une accrétion notable (le cas GameTheory, fix(GameTheory,#11168): passe 2 citations arXiv — verif identites + retrait suffixe fabrique GT-13 #13887). Elles se piochent comme n'importe quel grain de contenu, avec [CLAIMED] … paths: sur la famille.

Ce que ce périmètre ne couvre PAS — mesuré, pas supposé

Le périmètre « arXiv parce que mécaniquement vérifiable » vérifie l'identité d'une référence (ID, titre, auteurs, année). Il ne voit rien de ce que la prose affirme du contenu de cette référence.

Sous-classe trouvée en mesurant Probas : un renvoi de section fabriqué. La référence résout, le titre concorde, les auteurs concordent — et le pointeur interne est inventé :

• 0710.3742 §2 « The constant-hazard model » — §2 est « Recursive Run Length Estimation » ; grep -c -i "constant.hazard" = 0. (Le concept est réel, en §2.1 « The Changepoint Prior ».)

• 0710.3742 §3 « Sequential inference » — §3 est « Experimental Results ».

• 1312.0906 « (§10) » — papier de 11 pages, sections romaines I–VI. (Funnel = §I ; non-centrée = §II.B.)

Aucune des 4 étapes de la méthode ci-dessus ne peut voir ça — seul le PDF le peut (pdftotext suffit). C'est aussi la classe la plus coûteuse pédagogiquement : un titre faux ne mène nulle part et l'étudiant abandonne ; un renvoi faux l'envoie ouvrir le bon papier et y chercher une section qui n'existe pas — il conclura qu'il lit mal.

Bornage mesuré (2026-08-16, scan repo-wide des cellules markdown portant un ID arXiv ET un renvoi §N / section N) : la classe est confinée à Probas. Le seul autre candidat, ICT-25 c20 (arXiv 2511.18397 §3, critère « >2 % d'épisodes/step »), a été vérifié contre le PDF : la substance est exacte (le seuil est bien >2 %) et §3 existe — la localisation réelle est la légende de la Figure 1. Imprécision, pas fabrication : rien à corriger. Un audit qui promeut ça en finding fabriquerait précisément le faux positif que cette epic existe pour éviter.

Règle pour toute prose future (pas un rollout rétroactif) : une phrase qui renvoie à une section nommée d'un papier se vérifie contre le PDF, jamais contre l'API.

Hors périmètre

• Les citations non-arXiv (journaux, livres, pages web) — pas de vérification mécanique possible, à traiter au cas par cas quand un doute surgit.

• Les libs vendored, _archives/, .lake/packages/.

• L'outillage : si un grain veut scripter la vérification, très bien, mais l'outil n'est pas le livrable — les corrections de notebooks le sont.

Critère de fermeture (posé 2026-09-01, il manquait)

Cette EPIC reste ouverte, et ce n'est pas un oubli : les 8 tranches de la passe 1 sont mergées, mais personne n'a re-mesuré le périmètre depuis le snapshot du 2026-08-15. Le dépôt a reçu des notebooks depuis. Ce qui la ferme est une mesure, pas une opinion :

• rejouer le scan repo-wide des IDs arXiv en cellules markdown (hors _archives/, .ipynb_checkpoints, .lake/packages/) ;
• pour chaque ID non couvert par une des 9 PRs du tableau ci-dessus, poser un des quatre verdicts de la méthode ;
• publier le compte : IDs totaux, IDs déjà couverts, IDs neufs, verdicts des neufs.

Si le delta est vide ou trivial, l'EPIC se ferme sur cette mesure. S'il ne l'est pas, il devient la tranche suivante. myia-po-2023:CoursIA-2 a posé le 2026-08-31 (c.818) que l'acceptance globale « 107 IDs » n'était pas atteinte — l'affirmation est plausible mais n'était appuyée d'aucun compte ; ce critère est ce qui la tranche.

[jsboige]

[CLAIMED] lane myia-po-2024:CoursIA-2 -- grain famille FallacyDetection (3 IDs arXiv, 5 occurrences, 2 notebooks) — verification citations arXiv + corrections -- paths: MyIA.AI.Notebooks/FallacyDetection/**

[jsboige]

[RELEASED] lane myia-po-2024:CoursIA-2 -- released

[myia-ai-01]

Note opérationnelle mesurée — l'API arXiv rate-limite agressivement, et une famille dense la déclenchera.

Je viens de me faire jeter en essayant de vérifier les 5 IDs de la famille Probas (la plus petite), en faisant naïvement une requête par ID :

2203.02155  ERR TimeoutError
0710.3742   ERR HTTP 429
1312.0906   ERR HTTP 429: Too Many Requests
1701.02434  ERR HTTP 429
2011.01808  ERR HTTP 429

Cinq appels rapprochés suffisent. Le blocage persiste plusieurs minutes après la rafale — les tentatives suivantes, y compris sous la forme groupée et sous search_query, ont continué à renvoyer 429. Une lane qui attaque QuantConnect (44 IDs) ou ML (41 IDs) en boucle serrée passera son cycle sur des 429 plutôt que sur des citations.

Ce qui marche (à faire dès le départ, pas après s'être fait jeter) :

• Une seule requête groupée : ?id_list=ID1,ID2,ID3,... accepte une liste séparée par virgules et renvoie un <entry> par ID. 44 IDs = 1 appel, pas 44. C'est la forme à privilégier.
• ≥3 s entre deux requêtes si le groupage n'est pas possible, et un User-Agent identifiant (l'API le demande dans ses conditions d'usage).
• Backoff sur 429, pas de retry immédiat : le compteur ne se réarme pas tout de suite.
• Cacher les réponses : plusieurs notebooks citent le même ID (0710.3742 apparaît dans Infer-18 et PyMC-18, 1312.0906 dans PyMC-12 et PyMC-14). Sur la famille Probas, 7 citations ne font que 5 IDs distincts — dédupliquer avant d'interroger.

Corollaire pour le découpage : l'appariement « un ID cité ↔ une entrée renvoyée » doit se faire sur l'ID, pas sur l'ordre — l'API ne garantit pas de renvoyer les entrées dans l'ordre du id_list, et un ID inexistant est simplement absent de la réponse plutôt que signalé. Un ID absent de la réponse d'une requête groupée est précisément le signal ID-FANTÔME : ne pas le confondre avec une erreur réseau, revérifier cet ID seul avant de conclure.

Statut de mon côté : audit Probas entamé, non terminé — les 5 IDs sont extraits et les affirmations de prose relevées (Ouyang et al. 2022 / Adams & MacKay 2007 / Betancourt & Girolami 2013 / Betancourt 2017 / Gelman et al. 2020), mais je n'ai pas encore la réponse de l'API, donc aucun verdict posé. Je ne pose pas OK sur une intuition de plausibilité : c'est exactement ce que cette epic reproche aux citations existantes.

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA -- grain famille GenAI (42 IDs arXiv distincts / 82 occurrences / 18 notebooks, mesures sur origin/main courant) -- verification citations arXiv + corrections -- paths: MyIA.AI.Notebooks/GenAI/**

[jsboige]

Grain GenAI livré — PR #11181 (See #11168, grain famille GenAI).

42 IDs / 82 occurrences / 18 notebooks (mesure origin/main courant — le « 53 » du body data d'un snapshot antérieur, rescan bare-ID + URL : 0 supplémentaire). Une seule requête groupée id_list (note opérationnelle 429 suivie à la lettre), appariement par ID : 42/42 retournés, 0 ID-FANTÔME.

• MAUVAISE-ATTRIBUTION ×2 : RAGAS attribuée à « Gao, Y. et al. » (vrais auteurs Es, S. et al.) ; Qwen2.5-VL Technical Report attribuée à « Wang » ×4 occurrences (premier auteur réel Bai, S. — confusion probable avec Qwen2-VL de Peng Wang).
• DRIFT-MINEUR ×2 : titre DALL-E 1 (titre de blog cité pour le papier « Zero-Shot Text-to-Image Generation ») ; initiale « Rombach, K. » → « R. ».
• 38 OK (liste par notebook dans le body PR — le grain suivant de cette famille n'a pas à les re-vérifier).

Signal pour les autres familles : la confusion Qwen2-VL/Qwen2.5-VL est le genre d'erreur qui se propage par copier-coller de lignes de références entre notebooks — si une autre famille cite des rapports Qwen, vérifier le premier auteur contre l'API, pas contre la mémoire.

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA -- grain famille QuantConnect (31 IDs arXiv distincts / 76 occurrences / 16 notebooks, mesures sur origin/main courant) -- verification citations arXiv + corrections -- paths: MyIA.AI.Notebooks/QuantConnect/**

[jsboige]

Grain famille QuantConnect livré — PR #11183 (See #11168) :

• 31 IDs arXiv distincts / 76 occurrences / 16 notebooks sur origin/main courant ; 1 requête groupée, 31/31 retournés, 0 ID-FANTÔME.
• 29 OK · 1 ID-ERRONÉ : 2011.04016 (QC-Py-23 c11) pointe vers un papier provenance (Friedman et al.) alors que la prose cite Long Range Arena (Tay et al., ICLR 2021) — corrigé vers le vrai ID 2011.04006, confirmé par l'API · 1 DRIFT-MINEUR : titre raccourci de arXiv:2411.17900 (research_l4 c12) — corrigé vers le vrai titre (Yun, S.).
• Éditions markdown uniquement (2 lignes), aucune re-exécution requise.

OK (pour ne pas re-vérifier) : QC-Py-17 (1908.10063) · QC-Py-19/20 (1603.02754) · QC-Py-22 (1706.03762, 2205.13504, 2211.14730, 2310.06625, 2405.14616) · QC-Py-23 (1706.03762, 2004.05150, 2008.07669, 2009.14794, 2111.00396, 2312.00752) · QC-Py-23b (1706.03762, 2211.14730, 2310.06625) · QC-Py-24 (1312.6114, 1706.03762) · QC-Py-25 (1707.06347) · QC-Py-26 (1706.03762, 2005.14165, 2201.11903) · QC-Py-30 (1211.5063, 1409.0473, 1608.03983, 1711.05101) · QC-Py-31 (1211.5063, 1606.08415, 1608.03983, 1711.05101, 1706.03762) · QC-Py-32 (1509.06461, 1511.06581, 1602.01783) · QC-Py-33 (1502.05477, 1506.02438, 1707.06347) · QC-Py-34 (1602.01783, 1801.01290, 1812.05905) · research_what_dl (2603.15506)

Familles restantes sur cette issue : ML (41 IDs), SymbolicAI (16), IIT (12), RL (8), Probas (7 — vérifier si ai-01 a posé ses verdicts avant de claimer).

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA -- grain famille ML (extraction en cours sur origin/main courant) -- verification citations arXiv + corrections -- paths: MyIA.AI.Notebooks/ML/**

[jsboige]

Grain famille ML — livré, PR #11187

22 IDs distincts / 70 occurrences / 17 notebooks (le « 41 » de l'issue = snapshot antérieur, même drift que GenAI et QC ; rescan = 22, y compris 3 IDs en forme bare « (arXiv NNNN.NNNNN) » rattrapés par le scan secondaire).

Verdict	IDs
OK	16
MAUVAISE-ATTRIBUTION	4 — Ablation 1901.08644 (3 auteurs fantômes : Schuman/Sakhavi), MLE-bench 2410.07095 (Chan S.P./Chowdhury A./Chen C. → Chan J. S./Chowdhury N./Jaffe O.), MLE-STAR 2506.15692 (Guo→Nam), DS-STAR 2509.21825 (Guo→Nam + 2 titres fautifs dont un entièrement halluciné « An Automated End-to-End Data Science Agent Based on Code Generation »)
ID-ERRONÉ	1 — ONNX arXiv:1911.09500 fabriqué : l'ID pointe vers un papier sans rapport (Henrion et al., systèmes dynamiques polynomiaux) et le whitepaper ONNX n'a jamais été sur arXiv (vérifié par recherche de titre) → citation ré-ancrée sur https://github.com/onnx/onnx
DRIFT-MINEUR	1 — CodeAct 2402.01030 venue ICLR→ICML 2024
ID-FANTÔME	0

16 OK : 1201.0490 · 1809.08887 · 2005.11401 · 2005.14165 · 2007.08722 · 2102.00515 · 2107.03374 · 2111.06399 · 2201.02177 · 2202.03629 · 2205.10343 · 2210.03629 · 2301.05217 · 2302.04761 · 2303.11366 · 2309.07864.

Corrections : 17 lignes markdown / 8 notebooks, zéro re-exécution requise (exception C.2), assertions count==1 sur texte brut 17/17.

État du balayage famille par famille : GenAI ✅ (#11181) · QuantConnect ✅ (#11183) · ML ✅ (#11187) · restants : SymbolicAI (16) · IIT (12) · RL (8) · Probas (7) · FallacyDetection (5).

[jsboige]

[CLAIMED] lane myia-po-2023:CoursIA -- grain famille SymbolicAI -- verification citations arXiv + corrections -- paths: MyIA.AI.Notebooks/SymbolicAI/**

[jsboige]

Grain famille SymbolicAI — livré, PR #11188

15 IDs distincts / 44 occurrences / 16 notebooks (le « 16 » de l'issue = snapshot antérieur ; note : _archive/ singulier a laissé passer 2 occurrences EML, incluses).

Verdict	IDs
OK	13
ID-ERRONÉ	1 — Planners-8-Temporal c45 : « Temporal Planning Survey » → arXiv:2104.08553 = papier 5G/EV-charging sans rapport. Corrigé : relink vers le vrai fondement PDDL2.1 (Fox & Long, arXiv:1106.4561, vérifié firsthand) — aucun survey arXiv canonique n'existe
MAUVAISE-ATTRIBUTION (titre)	1 — EML-NAND-Compose c0 : titre « Electromagnetic Logic: A Continuous Computational Substrate for Symbolic Reasoning » jamais existé (v1 vérifiée = déjà « EML Trees Are Universal Approximators »)
ID-FANTÔME	0 (15/15 retournés)

Corrections : 2 lignes markdown / 2 notebooks, exception C.2, assertions count==1 2/2.

État du balayage : GenAI ✅ (#11181) · QuantConnect ✅ (#11183) · ML ✅ (#11187) · SymbolicAI ✅ (#11188) · restants : IIT (12) · RL (8) · Probas (7) · FallacyDetection (po-2024 en cours).