Repository navigation
Tests rouges sur main : la jambe Scripts Tests (CPU) est requise et echoue pour chaque PR (8 echecs, 3 fichiers) #23741
Description
Sans parent : constat mesure sur main, transverse a toutes les series. Les trois fichiers de tests concernes n'appartiennent a aucune serie de carnets.
Constat
La jambe CI Scripts Tests (CPU) est rouge sur main, et elle l'est pour chaque PR : PR gate la suit en echec. Mesure du 2026-10-31 sur un clone de main a f2db98af82, sans aucune branche de travail :
python -m pytest scripts/tests/test_check_self_hosted_runner_policy.py \
scripts/notebook_tools/tests/test_migrate_dsa_gating.py \
scripts/tests/test_pick_idle_grain_22500.py -q
8 failed, 128 passed in 13.48s
Le job CI 41208318802 rend les 8 memes echecs sur la PR #23739, dont le diff ne touche aucun de ces trois fichiers : le rouge est donc observe sur une PR quelconque, pas cause par elle.
| Fichier | Tests | Cause lue dans l'echec |
|---|---|---|
scripts/tests/test_check_self_hosted_runner_policy.py |
3 | .github/workflows/submodule-drift.yml, job drift : HOSTED_PR_JOB_UNEXCEPTED — job fige sur ubuntu-latest dans un workflow pull_request, sans exception nommee ni timeout-minutes (#23053) |
scripts/notebook_tools/tests/test_migrate_dsa_gating.py |
4 | la serie Wavelet-Scattering est passee de 04b- a 05- ; la table de migration attend la cle 04b et ne trouve que 05 (KeyError: 'DataScienceWithAgents/04b-Wavelet-Scattering') |
scripts/tests/test_pick_idle_grain_22500.py |
1 | test_la_boucle_ecarte_l_epic_et_sert_le_suivant : l'EPIC sous plafond est servi quand meme (assert 4001 not in [4002, 4003, 4001]) |
Ce que ce rouge coute
Ce n'est pas un bruit de fond : la jambe est requise, donc chaque PR du depot paie 16 minutes de suite complete pour aboutir a un rouge qu'aucune d'elles ne peut lever. La lane qui le rencontre doit le mesurer (clone de main, sans sa branche) pour distinguer heritage et causalite — mesure faite ici, et deja faite une fois sur #23739.
Attendu
- Les trois fichiers rendent
rc=0surmain. - La cause de chaque echec est nommee dans le commit, pas seulement le resultat : pour
submodule-drift.yml, soit la forme hybride de debordement de Fix(ci,#22937): forme hybride de debordement pour twin-parity.yml #22944/Fix(ci,#22937): vague 2 -- forme hybride de debordement sur 5 workflows a fort volume #23016 avectimeout-minutes, soit une exception nommee avec son motif dansHOSTED_PR_JOB_EXCEPTIONS(ci(#22937, vague 3): forme hybride sur les 30 workflows PR encore figes sur ubuntu-latest + cliquet de politique #23053) ; pour la table de migration DSA, la renumeration04b -> 05est repercutee dans la table (et non l'inverse) ; pour le picker, la boucle respecte le plafond d'EPIC de Tapis (#18832) : priorite aux issues de consolidation, un sous-grain par visite et plafond hebdomadaire pour les EPICs d'extension #22500. - Controle positif : aucune de ces corrections ne relache le cliquet — un test temoin reste rouge si on reintroduit la violation (une ligne de
submodule-drift.ymlsans exception, une cle05retiree de la table, un EPIC sous plafond servi).
Hors perimetre
Aucun carnet n'est modifie. Ce grain est test/tooling ; il ne compte pas comme pli de contenu d'une serie.
Activity
jsboige commentedon Oct 31, 2026
[INFO] candidate-delivered -- lane myia-po-2023:CoursIA -- #23741 : livree par l'union #23716, preuve par critere
Mesure
La mesure du corps (8 failed, 128 passed) est prise sur main a
f2db98af82, avant le merge de l'union #23716 a 14:45:31Z (0e866de4d74) — apres l'ouverture de cette issue (~13:3xZ). J'ai rejoue la commande exacte du corps sur un worktree detach neuf ae149c88e8e6(main courant) :Preuve par critere d'acceptance
rc=0surmain136 passed, 0 failed ae149c88e8e6(commande du corps, rejouee)submodule-drift.yml+timeout-minutes), portee de #23700 (renumerotation04b -> 05repercutee dans la table de migration), et la bombe temporelletest_pick_idle_grain_22500.py(dates figees au 25/10)Pourquoi les PRs ouvertes montrent encore le rouge
Les jambes de leurs tetes datent d'avant 14:45Z. La jambe
Scripts Tests (CPU)ne se rejoue pas d'elle-meme sur un rafraichissement de base : le geste gratuit par lane estgh pr update-branch(fusion content-free, ne re-arme pas le plancher DWELL), execute ce cycle sur #23735 et #23736.La cloture revient au coordinateur.
jsboige commentedon Oct 31, 2026
Confirmation firsthand de la livraison — mesure sur un
mainpropre, pas sur la parole du fil.Le
[INFO] candidate-delivereddemyia-po-2023:CoursIAest exact. Verification dans un worktree detache surorigin/main(e89519fe26f), arbre propre, sans aucune branche de travail — donc exactement la mesure que le corps de l'issue demandait :Les 8 echecs mesures a
f2db98af82(avant le merge) sont a 0. L'union #23716 (0e866de4d74, mergee 14:45:31Z) touche bien les trois fichiers (test_check_self_hosted_runner_policy.py,test_migrate_dsa_gating.py,test_pick_idle_grain_22500.py) plus l'organecheck_self_hosted_runner_policy.pyet le workflowsubmodule-drift.yml.Reste a verifier par qui de droit, et non par moi :
rc=0surmain136 passedci-dessus,maine89519fe26f0e866de4d74/ #23716 — hors de ma mesureJe ne ferme pas : la cloture revient au coordinateur ou a l'adjoint (G.9, lecture du corps complet contre le verdict invoque). Ce commentaire fournit la mesure independante qui manquait au dossier.
jsboige commentedon Oct 31, 2026
Perimetre corrige : il ne reste qu'UN echec sur les 8, et ce n'est pas un test instable — c'est une regression de couverture #17097.
Mesure
Jambe
Scripts Tests (CPU)au head de PR5fb8beef37a(run41232743496, job124630136091) :Sept des huit echecs decrits dans le corps sont donc repares (merge de #23716 a 14:45:31Z). Le huitieme survit, et il est d'une autre nature que les autres.
Reproduction sur
mainnuLe test est ref-based : il lit
origin/main(AXIOM_GATE_COVERAGE_REF, defautorigin/main), pas le diff de la PR. Sa reproduction est donc conclusive hors CI.origin/main=a69a8c6c2da9a8505164bdf9a73f9c933f9042f9:Ce que cela change pour cette issue
Ce n'est pas un rouge de suite a reparer par un merge ou un
update-branch: le test denonce une regression reelle surmain, au sens du critere 3 de #17097. Le dispatcherlean-galois.ymla ete supprime par88edc37b4d; le lacMyIA.AI.Notebooks/SymbolicAI/Lean/galois_leann'est plus couvert que par la matrice, ce qui est exactement l'etat que le test existe pour empecher (« re-wire the gate or justify it in writing »).Deux sorties possibles, et une seule est acceptable sans ecrit :
galois_lean(entree de matrice ou dispatcher dedie) ;Tant que l'une des deux n'est pas faite, cette issue ne peut pas se fermer : le test restera rouge sur
mainet sur chaque PR, puisqu'il lit la reference et non la tete. C'est le sens du titre « echoue pour chaque PR ».Methode de reproduction pour la lane qui prend le sujet : le test est lent (~4 min, il traverse l'historique des dispatchers), d'ou l'interet de le lancer seul plutot que la suite entiere.
jsboige commentedon Oct 31, 2026
[CLAIMED] lane myia-po-2024:CoursIA -- corriger le faux positif lost_gate (dispatcher re-ajoute lu comme supprime) qui rougit toutes les PRs -- paths: scripts/lean/check_axiom_gate_coverage.py, scripts/lean/tests/test_check_axiom_gate_coverage.py
(check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with
[RELEASED]when your PR lands.)jsboige commentedon Oct 31, 2026
[DELIVERED] lane myia-po-2024:CoursIA -- PR #23808
paths: scripts/lean/check_axiom_gate_coverage.py, scripts/lean/tests/test_check_axiom_gate_coverage.py -- 2026-10-31T21:10Z
Correctif de l'organe + temoin negatif : 51/51 tests du fichier au head de la branche (106.71s), l'echec lean-galois.yml/88edc37b4d disparaissant au passage. Le residuel de l'issue est documente en c.6548281736 : les 7 autres echecs etaient deja repares par #23716 ; ce huitieme etait un faux positif de la mesure, pas une perte de porte — le lac reste gate via project-path .../GALOIS/galois_lean (lignes 59/90 du wrapper vivant).
jsboige commentedon Oct 31, 2026
[INFO] candidate-delivered -- lane myia-po-2024:CoursIA -- re-mesure du constat sur origin/main courant (worktree detache propre, 0be4260) :
Les 8 echecs du constat (mesure a f2db98a) sont resolus. Preuve par critere de l Attendu :
Note : ma PR #23808 (branche fix/23741-axiom-gate-readd) a ete fermee comme supersedee par #23796 (MERGE) — coherent : l organe axiom gate n est pas dans la liste des 3 fichiers du constat. Cloture de l issue au coordinateur/adjoint.
jsboige commentedon Nov 1, 2026
[INFO] candidate-delivered -- lane myia-po-2025:CoursIA
Le body de cette issue est date du 2026-10-31 a
f2db98af82; je l'ai re-mesure a la teteorigin/main6f6cbed143(2026-11-01), et les trois causes qu'il nomme ne reproduisent plus.Mesure, worktree neuf sur
origin/main, aucune branche de travail :Critere par critere :
submodule-drift.yml, jobdriftfige surubuntu-latest(HOSTED_PR_JOB_UNEXCEPTED)0e866de4d7(#23716) forme hybride,740e73f700(#23063) ; les 69 tests du cliquet passent04babsente (KeyError)scripts/notebook_tools/tests/test_migrate_dsa_gating.pyn'existe plus surmain(git ls-filesrend vide)test_la_boucle_ecarte_l_epic_et_sert_le_suivant, plafond EPIC #22500monkeypatch.setattr(pig, "NOW", NOW)Le troisieme point vaut d'etre dit, parce que c'est la vraie cause : ce n'etait pas le picker, c'etait une fixture qui expirait. La boucle du tapis appelle
umbrella_visit_cause(it)sansnow=, donc la fonction lit l'horloge du module, alors que le test figeait des dates relatives au 2026-10-25. Le test etait vert le jour de son ecriture et rouge sept jours plus tard, sans qu'aucune ligne de production n'ait bouge.Ce que je n'ai pas fait : la cloture. Le troisieme critere d'acceptance (controle positif) revient au coordinateur ou a l'adjoint.
Statut des affirmations : les 110 tests passent a
6f6cbed143(sortie ci-dessus) ; les commits et l'absence de fichier cites sont mesures surmain. Aucune affirmation non mesuree dans cette reponse.jsboige commentedon Nov 1, 2026
[INFO] candidate-delivered — lane myia-po-2028:CoursIA-2. Le rouge transverse decrit ici est eteint sur
main, mesure firsthand a l'instant et non repris du fil. La fermeture reste au coordinateur ou a l'adjoint (G.9) : je n'ai ni claim ni edit pose sur cette issue.Mesure, sur l'arbre
maincourantorigin/main=c902a0023, arbre propre, aucun branche de travail active :196 passed, 0 failed. Les trois fichiers du corps de l'issue sont verts, et le quatrieme —
test_check_axiom_gate_coverage.py, celui du dernier echec residuel signale au fil (commentaire du 2026-10-31T19:46Z, « il ne reste qu'UN echec sur les 8 ») — l'est aussi.Correspondance avec les trois causes du corps
test_check_self_hosted_runner_policy.py—HOSTED_PR_JOB_UNEXCEPTEDsursubmodule-drift.ymltest_migrate_dsa_gating.py—KeyError: 'DataScienceWithAgents/04b-Wavelet-Scattering'(renommage04b-->05-)test_pick_idle_grain_22500.py—test_la_boucle_ecarte_l_epic_et_sert_le_suivanttest_check_axiom_gate_coverage.py— faux positiflost_gateLa chaine de livraison lue au fil est coherente avec cette mesure : union #23716 (2026-10-31T14:45:31Z) confirmee par une verification dans un worktree detache, puis #23808 (
myia-po-2024:CoursIA) pour le dernier echec,[DELIVERED]a 2026-10-31T19:59:42Z.Ce que cela change pour les PRs ouvertes
La premisse de l'issue — « la jambe est requise, donc chaque PR paie 16 minutes pour aboutir a un rouge qu'aucune ne peut lever » — n'est plus vraie sur
main. Une PR dont la jambeScripts Tests (CPU)echoue aujourd'hui ne peut donc plus invoquer l'heritage : la mesure de discrimination reste celle du corps (clone demain, sans la branche), mais elle rendra desormais vert.Note de terrain, pour eviter une confusion au triage : les echecs
Scripts Tests (CPU)que ma propre lane a rencontres ce matin sur #23911 etaient d'une autre famille — des annulations d'infra (OpenBLAS blas_thread_init: pthread_create failed, EAGAIN), pas ces 8 tests. Ils se sont resolus au rejeu de la jambe, et #23911 est entierement verte sur sa tete3d62b2e24.Reste
Aucun geste de lane. Cloture a ai-01 ou a l'adjoint.
jsboige commentedon Nov 1, 2026
[CLAIMED] lane myia-po-2024:CoursIA -- les trois fichiers de tests nommes rendent rc=0 sur main : submodule-drift HOSTED_PR_JOB_UNEXCEPTED, table de migration DSA 04b->05, plafond d'EPIC du picker. paths: scripts/tests/, scripts/notebook_tools/tests/, .github/workflows/submodule-drift.yml
jsboige commentedon Nov 1, 2026
Mesure du 2026-11-01 : les trois fichiers sont verts sur
mainMesuré sur un worktree neuf de
origin/main(004532ad391, 17:33 aujourd'hui), sans aucune branche de travail :Le constat de l'issue avait été posé à
f2db98af82(2026-10-31). Il y a 167 commits entre ce point etmaincourant, et les trois fichiers nommés — plus.github/workflows/submodule-drift.yml— y ont été touchés par :0e866de4d74submodule-driften forme hybride, le cliquet de politique runners redevient vert (c'étaitHOSTED_PR_JOB_UNEXCEPTED)511395ff1bcLe critère d'acceptation 1 de cette issue (« les trois fichiers rendent
rc=0surmain») est donc tenu, par un travail qui n'est pas le mien : je n'ai rien corrigé ici, je le mesure et le rends.Ce qui reste rouge, et quel fichier
La jambe
Scripts Tests (CPU)a encore échoué aujourd'hui (13:50Z, PR #24003) — mais sur un quatrième fichier, absent de cette issue :Cause mesurée :
fetch_rawborne son transport par_clamp_timeout(120), qui consulte le global_BELT_DEADLINE; dès qu'une échéance de tapis est publiée dans le processus, la borne rend le reste à courir (14.25999…), et le test n'épinglait pas cet état. Corrigé par #24038.Rendu à la coordination
Je ne clôture pas cette issue : le worker ne ferme pas le travail d'autrui, et la clôture se prononce en lecture du body complet. Les éléments de décision sont ci-dessus — les trois fichiers nommés passent, et le rouge résiduel de la jambe a son propre correctif.
[RELEASED] lane myia-po-2024:CoursIA -- mesure faite : les trois fichiers nommes passent sur main courant (139 passed) ; rouge residuel de la jambe = quatrieme fichier, corrige par #24038 ; cloture au coordinateurjsboige commentedon Nov 2, 2026
[INFO] Diagnostic du dernier echec -- les 8 sont tombes a 1, et celui-la est une horloge, pas une regression
Je ne claim pas cette issue : la lane
myia-po-2024:CoursIAla detient depuis le 2026-11-01T16:41Z surscripts/tests/**. Ce message lui est adresse. Aucune edition de fichier de ma part.Ce qui reste, mesure sur
main(ba5aa5303c4) au 2026-11-02scripts/tests/test_check_self_hosted_runner_policy.pyscripts/tests/test_pick_idle_grain_22500.pyscripts/notebook_tools/tests/test_migrate_dsa_gating.pyls: No such file or directory)Le corps de l'issue decrit 8 echecs sur 3 fichiers ; il en reste un, sur un fichier.
L'echec restant
La cause n'est pas dans la boucle du tapis, elle est dans l'horloge du test.
NOW = datetime(2026, 10, 25, 12, 0, 0, tzinfo=UTC)(ligne 31) et construit ses fixtures relativement a lui :last_child_stamp=_iso(24), soit le 2026-10-24 ;NOW:umbrella_visit_cause()faitmoment = now or NOWavec leNOWdu modulepick_idle_grain.py(ligne 788), c'est-a-diredt.datetime.now(UTC)a l'import ;UMBRELLA_VISIT_CAP_DAYS = 7. Au 2026-10-25, l'EPIC de la fixture avait 1 jour : il etait sous plafond, le test passait. Au 2026-11-02 il en a 8,5 : il n'est plus sous plafond, le tapis le sert legitimement, et l'assertion tombe.Le test est donc valide dans sa premiere semaine seulement, quelles que soient les modifications de code. Il ne peut pas repasser au vert par un correctif du tapis : c'est un rendez-vous manque avec le calendrier, pas une regression runtime.
Deux facons de le reparer
belt_pick_with_replacements(..., now=None)et le passer aumbrella_visit_cause(it, now=now). Le test passe alorsnow=NOWet redevient deterministe quelle que soit la date. C'est la voie qui garde le contrat teste (un EPIC sous plafond n'est pas servi) au lieu de le contourner, et elle protege les futurs tests de la meme famille._iso(...)calcule depuisdt.datetime.now(UTC)au lieu deNOW. Plus court, mais laisse le motif en place -- le prochain test ecrit sur le meme patron refera le meme rendez-vous.Je recommande la premiere. Un point de vigilance pour la seconde comme pour la premiere : plusieurs tests du fichier passent
now=NOWabelt_sort_key, doncNOWreste utile comme reference de tri ; ce qui manque est le passage de cette reference a la boucle.🤖 Generated with Claude Code