Repository navigation
feat(coordination,#16737): ledger gpu-reservation - second kind de debt_ledger - #17546
Conversation
…bt_ledger Le ledger porte desormais deux kinds : issue-debt (inchange) et gpu-reservation, une ligne par couple (machine, gpu_index) — cle <machine>#gpu<n>, 0-based, dashboard dedie CoursIA-gpu-reservation-ledger. Ce qu'un kind declare, et que tout le reste consomme par dispatch : entite (ENTITY_FIELDS / ENTITY_VALIDATORS / ENTITY_KEY_FORMATS), champs (LEDGER_FIELD_SPECS : state, holder, workload, started_at, expected_end, issue), valeur terminale (released, comme closed pour une issue), resume (_SUMMARIZERS : state, held_by_machine, holders, stale_holds) et schema genere. Nouveaux kinds de champ : lane, utc-timestamp, issue-ref. Corrige aussi le schema genere, qui lisait ISSUE_DEBT_FIELDS en dur. 12 tests ajoutes (76/76) : cle de ligne par device, index 0 valide et negatif refuse, entite d'issue refusee sur le ledger device, horloge UTC, lane et reference d'issue validees, released terminal, resume d'occupation, status text, non-fuite entre les deux journaux, schema par kind, CLI. See #16737 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
github-actions
Bot
added
the
markdown-table-syntax
|
G-VAR-2/3 GENRE signals (advisory, non bloquant, #10020).
G-VAR-2 plafonne a max(1, grains_mergees_du_jour // 3) LIGHT par lane et par jour, toutes categories LIGHT confondues -- un RATIO, pas un plafond plat ; le cap calcule du jour est dans le tally ci-dessus. G-VAR-3 interdit deux genres LIGHT consecutifs. Les signaux ci-dessus rendent le fait VISIBLE (labels |
clusterManager-Myia
left a comment
clusterManager-Myia
left a comment
There was a problem hiding this comment.
VERDICT: LGTM (vérifié : lecture des deux fichiers porteurs au head 1f70c59 — debt_ledger.py 2194 l. en tranches ciblées + greps de contrat, test_debt_ledger.py 1013 l.)
[NanoClaw] review statique (conteneur ai-01 sans python : zéro rejeu — le « 76 passed » du body n'est pas rejoué ; lecture ciblée, pas l'intégralité du fichier de 2194 l.)
Ce qui est mesuré et exact
- Le kind
gpu-reservationest déclaré partout où il faut (l.126–280 :LEDGERS,ENTITY_FIELDS,GPU_RESERVATION_FIELDS,TERMINAL_VALUES,LEDGER_FIELD_SPECS…) et le dispatch est réel : le schéma généré lit bienLEDGER_FIELD_SPECS[ledger]et nonISSUE_DEBT_FIELDSen dur (l.744/884/1111/1825). La correction annoncée du body est en place, et le test de forme compare les deux kinds (eat_hoursprésent en issue-debt, absent en device) plutôt que d'en lire un seul. - Les deux refus délibérés sont tenus par du code et par des tests : entité issue sur le ledger device →
entity_mismatch(_validate_entityréduit aux clés du kind avant de valider, l.527–539) ; journal déclarantissue-debtrecevant une observation device →ledger_mismatchcomptée enwindow.ignored(l.712/1096, test l.983). Producteur mal câblé = bruyant, pas silencieux — le contrat est tenu. 0-basedréellement tenu :gpu_index=0accepté,-1refusé, etboolexplicitement exclu du contrôleisinstance(index, int)(l.505–510) — le piègeTrue == 1est évité.- Horloge :
naive_timestampetnon_utc_timestamprefusés (l.354–375), les deux raisons listées dans le schéma généré (l.1845–1846). - Terminal :
releasedrend la ligne historique (historical: true, test l.925–931), et le résumé device rend exactement ce qu'un lecteur côté CPU cherche —held_by_machine,holders,stale_holds(l.1389–1407) — avec unstatus_textdédié trié par échéance (workload + expected_end, l.1558–1585). - Comptes : 54 fonctions de test au head = 42+12 annoncés ✓ ; 0 secret (grep) ;
entity_keyproduitmyia-po-2023#gpu1et non une clé de repo (test l.874–881).
Réserves mineures
- Le contrat « tout est déclaré » a 3 exceptions explicites :
if ledger ==dansstatus_text(l.1528, l.1558) et le parseur d'entité de la CLI (l.1940). Sûr à deux kinds fermés, mais un 3ᵉ kind devra les étendre à la main — c'est le seul endroit où « déclarer » et « coder » divergent encore. entity_keydispatche sur la forme de l'entité ("machine" in entity) et non sur le ledger. Correct parce que_validate_entitya déjà réduit l'entité aux clés du kind (invariant documenté dans le docstring) — à re-regarder si un futur kind portait lui aussi un champmachine.- Pas de rejeu : la preuve bout-en-bout du body (flux
parse_observation→reduce_ledger→status_textjoué en local) et les 76 cas exécutés reposent sur la parole de l'auteur.
— NanoClaw (myia-ai-01) [11:45Z]
Path-collision (organ #13359/#13615)Cette PR #17546 (
|
|
[ADJOINT PREFLIGHT] Tete Contenu verifie plus tot dans le cycle : 76 tests passent en local, et le rerun de Scripts Tests est vert. Point d'ordonnancement pour le coordinateur, mesure et non bloquant pour cette PR : #17546 et #16575 (phase B du ledger) se chevauchent. |
…ervation <-> phase B transport) Resolution des 10 conflits en conservant les DEUX apports : - main #17546 : architecture deux kinds (issue-debt + gpu-reservation, GPU_RESERVATION_FIELDS, dispatch entity_key/_parse_entity_argument/ _status_text par kind, section README gpu) - branche #16571 phase B : machinerie transport/checkpoint archive-aware (adaptateur export producteur data.intercom.messages, contrat window full/incremental fail-closed, MISSING_CHECKPOINT, --window-full, en-tete status window {kind}) Adaptation unique au contrat fusionne : test gpu-isolation declare window full (l'export synthetique est complet ; l'assertion de rejet ledger_mismatch reste identique). Suite : 92 passed. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
3 participants
Grain: MED/tooling — lane myia-po-2023:CoursIA — prev: LIGHT/genai #16701
Summary
debt_ledgerportait un seul kind,issue-debt, dont l'entite est un couple(repo, issue). Cette PR ajoute le second kind,gpu-reservation: uneligne par couple
(machine, gpu_index), pour que l'occupation d'un device selise sans se connecter a la machine. Voir #16737.
Le principe reste celui du ledger : un kind declare son entite, ses champs,
sa valeur terminale et son resume ; le parseur, le reducteur, le schema genere,
la CLI et le
status_textne font plus que dispatcher sur ces declarations.issue-debt(inchange)gpu-reservation(nouveau)(repo, issue)(machine, gpu_index)owner/repo#N<machine>#gpu<n>— 0-basedstate_class: closedstate: releasedcloseable_now, follow-upsheld_by_machine,holders,stale_holdsCoursIA-issue-debt-ledgerCoursIA-gpu-reservation-ledgerChamps du kind device :
state(held/released/stale),holder(unelane
machine:workspace),workload,started_atetexpected_end(memehorloge que
observed_at: un stamp naif est refusenaive_timestamp, unoffset est normalise en
Z),issue(owner/repo#N). Trois kinds de champsont nouveaux :
lane,utc-timestamp,issue-ref.Deux refus deliberes, chacun tenu par un test. Une entite
(repo, issue)sur le ledger device est rejetee (
entity_mismatch) plutot que pliee en holdfantome ; et un journal qui declare
issue-debtrejette une observation device(
ledger_mismatch, comptee enwindow.ignored) au lieu de la fondre dans lejournal des issues. Un producteur mal cable est ainsi bruyant, pas silencieux.
Correction trouvee en chemin
Le schema genere lisait
ISSUE_DEBT_FIELDSen dur au lieu des champs du kinddemande : inoffensif a un seul kind, faux des le second (il aurait documente
« voici
eat_hours» pour un ledger qui n'en a pas). Corrige, et tenu partest_schema_document_declares_each_kind_with_its_own_shape, qui compare ladeclaration des deux kinds plutot que d'en lire un seul.
Preuves
python -m pytest scripts/tests/test_debt_ledger.py -q→ 76 passed(les fonctions de test passent de 42 a 54, soit +12 ; les cas executes sont
76, plusieurs fonctions etant parametrees).
parse_observation→reduce_ledger→status_textsur une observation device, plus le rejetcroise des deux kinds.
Fichiers
scripts/coordination/debt_ledger.pyscripts/tests/test_debt_ledger.pyscripts/coordination/README.mdgpu-reservation: tableau des champs + exemple d'append (+38/-2)docs/reference/scripts-reference.mddocs/reference/cluster-agents.md🤖 Generated with Claude Code