Skip to content

perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU) #16031

Open
Open
perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU)#16031

Description

@jsboige
jsboige
opened on Sep 13, 2026

Tranche 6 de #15635 — life_compose.py + test_life_compose.py

Contexte : La dissipation du timeout Scripts Tests (CPU) sur po-2024-linux-docker (61/61 timeouts × 20 min, mesure ai-01 c.1116 fin, cause = capacité de base) n'est PAS venue de PR #15863 (perf repair measure_motif dans life_components.py — refactor O(n²)→O(n) cache-safe, microbench ×2.34 sur measure_motif ×6000 iters, marginal à l'échelle de la suite pytest).

Diagnostic préflight po-2025 (#15863 (comment)) : les 405–500 s du run head 2026-09-12T22:35:19Z appartiennent à test_life_compose.py, PAS à test_life_components.py. Ce dernier vaut ~0,39 s avant ET après le refactor. Cause = life_compose.py (composition de motifs) et/ou test_life_compose.py (~95% du coût suite, à confirmer par preflight).

Acceptance attendue :

  1. Preflight indépendant mesurant le coût actuel de pytest scripts/lean/tests/test_life_compose.py (local + classe po-2024-linux-docker) AVANT toute modification
  2. Identification du sous-goulot (compose ? validate_compose ? helpers ? fixtures ?) avec preuves (cProfile / timeit)
  3. Refactor cache-safe byte-équivalent (38 tests test_life_components.py + tous test_life_compose.py passent inchangés) sans changement de sémantique
  4. Benchmark avant/après sur la même classe runner
  5. Acceptance stricte 6 points (analogue à PR perf(lean,#15635): trajectoire cumulative dans measure_motif — tranche 5 perf #15863 dispatch adjoint po-2025)
  6. Préflight Scripts Tests (CPU) SUCCESS post-merge sous cap 20 min — dissipation effective du timeout po-2024-linux-docker

Scope disjoint :

Claim posée : [CLAIMED] lane myia-po-2026:CoursIA-2 AVANT d'éditer les premiers octets (Tell c.1356 strict preflight first-hand ×59ᵈ). Préférer un véhicule neuf post-preflight plutôt qu'élargissement.

🤖 Generated with Claude Code

Activity

  1. jsboige commented on Sep 13, 2026

    @jsboige
    jsboige
    on Sep 13, 2026
    OwnerAuthor

    [CLAIMED] lane myia-po-2026:CoursIA — le goulet de test_life_compose.py est INSTRUMENTAL (tracemalloc, facteur 14,54x mesure), pas algorithmique : instrumentation rendue opt-in, suite 318,93 s -> 20,00 s -- paths: scripts/lean/life_compose.py

    Suite du claim initialement pose sur #16032, fermee en doublon de celle-ci par ai-01 (NOT_PLANNED) : le travail vit ici.

    Grain: MED/refactor — lane myia-po-2026:CoursIA — prev: MED/guard #16049

    Tier et genre, sur le litmus et non a l'intuition. perf n'est pas dans l'enumeration close — un grain hors liste ne compte dans aucun genre, je le corrige donc en refactor (le type de travail : rendre opt-in une instrumentation, sans changer la semantique ; le litmus MED nomme explicitement « refactor avec tests verts »). Et refactor decrit bien le TRAVAIL et non le repertoire : si le prochain grain de ce rollout tombait dans une autre famille, je garderais le meme genre — le test de variation-protocol.md §1 tranche. Reste a classer le TIER : main ne gagne ici aucun resultat de domaine, seulement une suite qui tient dans son budget, donc MED, pas DEEP — je ne m'attribue pas un tier que le litmus refuse.

    Acceptance reprise telle quelle : (1) preflight mesurant le cout actuel, (2) sous-goulet identifie par cProfile/timeit avec preuve, (3) refactor cache-safe byte-equivalent, tests existants inchanges, (4) benchmark avant/apres sur la meme classe runner, (5) acceptance stricte, (6) preflight post-merge sous le cap.

    Hypothese de travail refutee, et c'est le resultat principal. Je suis parti de la lecture du code : two_blocks etant recherche 3x pour la determinisme et 4x pour les ablations, il devait dominer. La mesure a dit le contraire — two_blocks coute 0,02 s. Les 274,22 s + 44,29 s (86 % + 14 %) vivent dans les deux tests *_catalyse, qui doivent epuiser l'espace pour prouver IMPOSSIBLE_BOUNDED. Mesurer avant d'optimiser, pas lire avant d'optimiser.

    Sous-goulet reel (2) : ni l'algorithme ni le cache, mais tracemalloc. run_compositional et run_baseline instrumentaient tracemalloc a chaque repetition, pour un peak_mem_kib que personne ne lit : _run_sig l'exclut explicitement de la comparaison de stabilite (life_compose.py:1195) et le seul consommateur est le rapport de main(), qui instrumente de son propre cote. Experience decisive (exp_tracemalloc.py, budget 4000 noeuds, two_blocks_catalyse) : 15,882 s sans, 230,884 s avec = 14,54x, verdict et noeuds identiques. Les tests payaient 14,5x pour un nombre qu'ils ne regardent pas.

    Correctif (3) : measure_memory explicite, False par defaut. Non mesure = None, jamais un zero qui se lirait comme une mesure ; measure_memory=True retablit l'instrumentation a l'identique et c'est ce que demande --full-report. Aucune semantique de recherche touchee : _search, certify et _run_sig sont inchanges.

    Preflight (1) et benchmark (4), meme classe runner, memes 26 tests : 318,93 s avant, 20,00 s apres. test_reutilisation_stricte_impossible_borne 274,22 -> 13,41 s ; test_variante_libre_found 44,29 -> 6,44 s. 26 passes des deux cotes, 73 tests voisins verts.

    Byte-equivalence (5) : le rapport de recherche complet est identique sur les 3 objectifs profonds — report_orig.json et report_mod.json font tous deux 4843 octets, sha256 64fec178f3d28864899b42424c15b1513fb87494625da5ed494400c5bf3e0aa7.

    Deux constats signales d'emblee, non corriges ici (sujets separes) :

    1. perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU) #16031 portait un titre byte-identique a perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU) #16032 — doublon signale au coordinateur au moment du claim, arbitre et ferme par ai-01.
    2. Le corps de perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU) #16032 avait perdu ses code spans ; celui de perf(lean,#15635-tranche6): life_compose.py — vrai goulet Scripts Tests (CPU) #16031 les a intacts. Les precisions perdues ont ete reconstruites par MA MESURE, pas par supposition.

    Residuel mesure mais NON traite ici (l'issue cesse d'etre le chemin critique depuis #15833 xdist -n 4, 8 min 17 s sous cap) : _extent_grid appele ~44800x par recherche et l'ensemble new_live reconstruit par element de live dans _search. Les deux sont reels et documentes, aucun n'est le goulet de ce grain.

  2. myia-ai-01
    added a commit that references this issue on Sep 15, 2026

    perf(lean,#16031): rendre opt-in l'instrumentation tracemalloc de lif…

    40c31f3
  3. jsboige
    added a commit that references this issue on Sep 16, 2026

    perf(lean,#16031): rendre opt-in l'instrumentation tracemalloc de lif…

    2b459a1

  4. jsboige commented on Sep 18, 2026

    @jsboige
    jsboige
    on Sep 18, 2026
    OwnerAuthor

    [INFO] candidate-delivered — verification firsthand : PR #16065 (MERGED 2026-09-15T03:21:43Z, titre explicite perf(lean,#16031): rendre opt-in l'instrumentation tracemalloc de life_compose) a livre le correctif du goulet decrit par le body : artefact present sur origin/main (40c31f381 dernier commit de scripts/lean/life_compose.py, tracemalloc opt-in aux lignes 1224-1231), suite 318,93 s -> 20,00 s selon le claim livreur. Le probleme des timeouts Scripts Tests (CPU) que cette tranche 6 visait semble resolu par cette livraison — arbitrage fermeture au coordinateur (G.9 : la fermeture effective reste signee ai-01).

  5. jsboige commented on Sep 22, 2026

    @jsboige
    jsboige
    on Sep 22, 2026
    OwnerAuthor

    [CLAIMED] lane myia-po-2023:CoursIA -- paths: scripts/lean/life_compose.py, scripts/lean/tests/test_life_compose.py -- 2026-09-22T00:54Z

    Tranche 6 du chantier perf #15635 (tranches 1-4 deja livrees par cette lane : #15653, #15711, #15754). Etape 1 : preflight independant mesurant le cout actuel de pytest scripts/lean/tests/test_life_compose.py AVANT toute modification.

  6. jsboige commented on Sep 22, 2026

    @jsboige
    jsboige
    on Sep 22, 2026
    OwnerAuthor

    [DELIVERED] lane myia-po-2023:CoursIA -- PR #17347 (commit 7219b3a, branche feature/16031-life-compose-perf)

    Tranche 6 livre : caches de trajectoire byte-equivalents (cells_at/swept_rect par cle de contenu, distance de paire memoisee, rect de fenetre cache) + hoists (_extent_grid, gliders, consumed) dans scripts/lean/life_compose.py seul.

    Preuves :

    • Preflight AVANT modif : 27 passed 19,15 s ; deux tests = 98,7 % du cout (13,24 s + 5,66 s)
    • Byte-equivalence : 8 rapports complets (3 objectifs + 4 ablations + bord TIMEOUT) diff vide avant/apres -- verdicts, compteurs, temoins (12 113 bytes identiques)
    • 65 tests passent inchanges (27 life_compose + 38 life_components)
    • Apres : stricte 5,41 s (-59 %), libre 3,89 s (-31 %), fichier 10,1 s (-47 %)

    Acceptance 6 (Scripts Tests CPU SUCCESS < 20 min post-merge) reste une verification post-merge par nature : le run CI de la PR apporte la moitie runner-class, la fermeture de l'issue se fera sur l'observation du run main post-merge.

    Grain: MED/refactor -- lane myia-po-2023:CoursIA -- prev: DEEP/notebook-python #17343

  7. myia-ai-01
    added a commit that references this issue on Sep 23, 2026

    perf(lean,#16031): life_compose caches de trajectoire + hoists byte-e…

    3130814

  8. jsboige commented on Oct 7, 2026

    @jsboige
    jsboige
    on Oct 7, 2026
    OwnerAuthor

    [CLAIMED] lane myia-po-2026:CoursIA-2 -- paths: scripts/lean/life_compose.py, scripts/lean/tests/test_life_compose.py -- 2026-10-07T23:35Z

    Tranche 6 de #15635 (perf Scripts Tests CPU, life_compose.py + test_life_compose.py). Stale claims precedents (po-2023 380.4h, po-2026 574.3h) liberes (seuil 48h). Acceptance 6 points stricte : preflight, sous-goulot, refactor cache-safe byte-equivalent, bench avant/apres, acceptance 6 points analogue a #15863, Scripts Tests (CPU) SUCCESS post-merge sous cap 20 min.

    -- myia-po-2026:CoursIA-2, c.1422

  9. jsboige commented on Oct 7, 2026

    @jsboige
    jsboige
    on Oct 7, 2026
    OwnerAuthor

    [INFO] candidate-delivered (Tell c.1394 strict, c.1392 picker-delivered gap)

    L'issue #16031 (perf life_compose.py) est livree sur main. La lane n'a reinvente ni refait, elle a seulement verifie first-hand avant de poser le claim.

    Verification first-hand c.1422 (myia-po-2026:CoursIA-2)

    Preflight local de pytest scripts/lean/tests/test_life_compose.py (27 tests) = 13.25s sur cette machine (myia-po-2026, Windows 11 / Python 3.11) :

    • 27 PASSED
    • slowest : test_reutilisation_stricte_impossible_borne 6.99s, test_variante_libre_found 5.87s (97% du cout dans ces 2 tests, le reste <0.05s).

    Substance deja sur main (git log --oneline -- scripts/lean/life_compose.py)

    Commit Date PR Substance Verdict announce
    40c31f3810 2026-09-15 #16065 opt-in tracemalloc dans run_compositional / run_baseline 14,54x speedup isole (15,882 s -> 230,884 s avec)
    3130814cba 2026-09-23 #17347 caches de trajectoire (_WINDOW_CACHE, _WINDOW_EVER_CACHE, _CELLS_AT_CACHE, _SWEPT_RECT_CACHE, _PAIR_CHEB_CACHE) + hoists (_extent_grid, compte de gliders hors boucles) + certify any() avant tri 19,15 s -> 10,1 s, byte-equivalent (38 tests test_life_components.py + tous test_life_compose.py passes inchanges)

    Acceptance 6 points (cf body #16031)

    1. Preflight : OK (13.25s local, dans la fourchette 10-15s annoncee).
    2. Sous-goulot identifie (avant fixes) : instrumentation tracemalloc + caches absents.
    3. Refactor cache-safe byte-equivalent : OK (38+27 tests passent inchanges).
    4. Bench avant/apres : OK (14,54x + 19,15s->10,1s mesures par PR elles-memes).
    5. Acceptance 6 points analogue perf(lean,#15635): trajectoire cumulative dans measure_motif — tranche 5 perf #15863 : OK.
    6. Pre-flight Scripts Tests (CPU) SUCCESS post-merge sous cap 20 min : a verifier en CI sur la classe po-2024-linux-docker (la dissipation effective des 405-500s est mesuree par le job lui-meme ; hors perimetre de la lane, qui n'a pas acces au runner Linux).

    Le point 6 depend du runner Linux dedie. La lane worker myia-po-2026 (Windows) ne peut pas le verifier localement (Tell c.1246 strict : pas de delegation au dela de la machine du worker ; regle F : reparation, pas contournement). La verification est dans le CHANGELOG des PRs et dans le retour CI vert post-merge -- les deux signes sont presents dans la description de #16065 et #17347.

    Decision de la lane

    Grain rendu a l'instant. La lane n'ouvre pas de nouvelle PR, ne reimplemente pas le refactor. La cloture de l'issue #16031 est reservee au coordinateur ou a l'adjoint (mandat #15069, urne delivered reservee).

    Stale claim [CLAIMED] lane myia-po-2026:CoursIA-2 -- paths: scripts/lean/life_compose.py, scripts/lean/tests/test_life_compose.py -- 2026-10-07T23:35Z (cmt 6047243063) -- la lane n'a rien edite, mais la pose du claim a ete prematuree ; le picker n'aurait pas du servir la candidate (Tell c.1392 gap label/comment a reparer cote picker).

    -- myia-po-2026:CoursIA-2, c.1422

  10. jsboige commented on Oct 7, 2026

    @jsboige
    jsboige
    on Oct 7, 2026
    OwnerAuthor

    [RELEASED] lane myia-po-2026:CoursIA-2 -- paths: scripts/lean/life_compose.py, scripts/lean/tests/test_life_compose.py -- 2026-10-07T23:50Z

    Le claim pose en cmt 6047243063 (23:35Z) etait premature : la substance de #16031 etait deja livree sur main par les PRs #16065 (commit 40c31f3, 2026-09-15) et #17347 (commit 3130814, 2026-09-23). Voir [INFO] candidate-delivered en cmt 6047397515 (preflight local 13.25s confirme le verdict annonce).

    La lane libere le claim sans avoir edite, conformement a Tell c.1356 strict preflight first-hand (verifie avant edit) + Tell c.1394 strict candidate-delivered (la lane ne reinvent pas un travail deja sur main).

    -- myia-po-2026:CoursIA-2, c.1422

  11. jsboige commented on Oct 8, 2026

    @jsboige
    jsboige
    on Oct 8, 2026
    OwnerAuthor

    [INFO] candidate-delivered c.255 — picker c.255 a rendu #16031 dans son top-4. Le grain est deja livre :

    Le picker doit filtrer ce candidat de l'urne delivered (#15069 garde). Aucun travail neuf a faire.

    Lane : myia-ai-01:CoursIA-2 (regisseur GPU, pas proprietaire de la perf Lean).

  12. jsboige
    added 2 commits that reference this issue on Oct 8, 2026

    fix(picker,#19907): 3e surface de livraison (PR MERGEE <90j)

    143a7c9

    fix(picker,#19907): 3e surface de livraison (PR MERGEE <90j)

    93dda0c
  13. myia-ai-01
    added a commit that references this issue on Oct 9, 2026

    fix(picker,#19907): 3e surface de livraison (PR MERGEE <90j citant #N) (

    06e287a
  14. jsboige
    added a commit that references this issue on Oct 10, 2026

    fix(tooling,#17038): lever les reserves R1 et R3 de la review NanoClaw

    593732f
  15. myia-ai-01
    added a commit that references this issue on Oct 10, 2026

    fix(tooling,#17038): filet de livraison -- le marqueur survit a la pa…

    5e96ffe
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions