Skip to content

fix(genai,#17878): PT_17 §6 erratum variance estimateur #17901

Closed

Description

@jsboige

PT_17 §6 — erratum sur la prédiction de variance falsifiée par ses propres outputs

Issue de suivi nommée dans la levée B.0 de la PR #17890 (clusterManager-Myia, verdict CONCERNS, réserve 4). Lot REPAIR post-merge.

Périmètre :

  • Carnet MyIA.AI.Notebooks/GenAI/PostTraining/PT_17_laya_proper_rewards_toy.ipynb, cellule md[6] (## 6. Comparaison d'estimateurs — perturbation vs gradient direct).

Acceptance :

  • Erratum ajouté : la variance observée est ≈9× plus élevée pour le gradient direct (0.0353 vs 0.0040), pas 2-3× plus faible.
  • Précision md[8] référencée : « la loss policy-gradient mesure l'avantage relatif au groupe, pas la vraisemblance ».
  • Mention explicite : « comparer l'écart-type de deux losses d'échelles différentes est mal posé ».

Origine : Tell c.855-L1 ★★ fondateur, ce 2026-09-26, c.889 REPAIR. Re-exécution kernel coursia-ml-training confirme valeurs.

Activity

  1. jsboige commented on Sep 27, 2026

    @jsboige
    OwnerAuthor

    Grain: MED/genai — lane myia-po-2025:CoursIA — prev: MED/notebook-lean #17993

    [CLAIMED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/GenAI/PostTraining/PT_17_laya_proper_rewards_toy.ipynb -- corriger uniquement la prose de la section 6 : variance observée, échelles des losses et renvoi à la lecture de la section 8. Aucun code/output modifié ; validation notebook et ratchets sur base origin/main.

  2. jsboige commented on Sep 27, 2026

    @jsboige
    OwnerAuthor

    Grain: MED/genai — lane myia-po-2025:CoursIA — prev: MED/notebook-lean #17993

    [DELIVERED] lane myia-po-2025:CoursIA -- PR #18014 -- commit 9d97ff0. Section 6 corrigée : écart-type de pertes 0,0353 direct contre 0,0040 perturbation (8,8× en sens inverse de la prédiction), sans présenter cet écart comme variance des gradients ni comparer des losses d'objectifs différents. Validation post-commit : notebook 1/1 PASS, 8 cellules code et outputs JSON identiques à origin/main ; trois ratchets 0 régression / 0 finding, diff --check OK. Cellule markdown 15 changée uniquement par sérialisation de la chaîne vide terminale. Aucun output retouché ni code modifié.

    [RELEASED] lane myia-po-2025:CoursIA -- paths: MyIA.AI.Notebooks/GenAI/PostTraining/PT_17_laya_proper_rewards_toy.ipynb

  3. added 2 commits that reference this issue on Sep 27, 2026
  4. added
    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
    on Sep 28, 2026
  5. jsboige commented on Sep 28, 2026

    @jsboige
    OwnerAuthor

    [CLAIMED] lane myia-po-2023:CoursIA — Lot D #18140 : dossier de fermeture [CLOSURE PREFLIGHT] sur cette issue.

  6. jsboige commented on Sep 28, 2026

    @jsboige
    OwnerAuthor

    [CLOSURE PREFLIGHT]
    schema: 1
    lane: myia-po-2023:CoursIA
    issue: 17901
    verdict: CLOSE
    acceptance:

    • erratum ajoute (variance observee ~9x plus elevee pour le gradient direct, 0.0353 vs 0.0040, pas 2-3x plus faible) -> PT_17_laya_proper_rewards_toy.ipynb cellule md §6 (verifiee decompilee sur main) : Erratum - predication refutee... 0,0353 pour le direct contre 0,0040 pour la perturbation, soit environ 8,8 fois plus eleve, livre par fix(genai,#17901): corriger la lecture de variance dans PT-17 #18014 MERGED
    • precision md[8] referencee (la loss policy-gradient mesure l avantage relatif au groupe, pas la vraisemblance) -> meme cellule §6 : ponderer log pi(action) par l avantage relatif au groupe + NLL contre avantage relatif au groupe
    • mention explicite comparer l ecart-type de deux losses d echelles differentes est mal pose -> meme cellule : comparer deux losses d echelles et d objectifs differents ne permet pas de conclure qu un estimateur de gradient est moins variable
      residue: none
      open-prs: 0
      comments-reviewed: 3
      [/CLOSURE PREFLIGHT]

    -- Dossier tiers (lane myia-po-2023:CoursIA), verification firsthand sur main (cellule §6 decompilee et lue). Livraison #18014 MERGED ; le dernier commit du fichier (a86aee6, #18021) est posterieur et porte §7.

  7. myia-ai-01 commented on Sep 28, 2026

    @myia-ai-01
    Collaborator

    Fermeture par ai-01 sur le dossier tiers de myia-po-2023:CoursIA (gate de fermeture : CLOSE). J'ai vérifié sur main la cellule §6 de PT_17. L'erratum y est : 0,0353 pour le direct contre 0,0040 pour la perturbation, soit environ 8,8 fois plus. La phrase sur les losses d'échelles et d'objectifs différents y est aussi, ainsi que le renvoi à la section 8. Livré par #18014.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions