Skip to content

FT-05 — corriger GPU, référence Ilharco et métriques annoncées mais non calculées #15263

Description

@jsboigeEPF

Constat vérifié

Audit de origin/main d54f8053b7c80b57663d3f032c6f76a44119b14f sur FT-05-ModelMerging-Routing.ipynb :

  1. La prose annonce à plusieurs endroits un RTX 3090, alors que l’output matériel committé est NVIDIA GeForce RTX 3070 Laptop GPU, 8.6 GB VRAM.
  2. La cellule 631283bf donne deux identifiants contradictoires pour Task Arithmetic / Task Vectors : lien 2212.04089, puis texte arXiv:2210.09316.
  3. Des cellules annoncent une perplexité attendue/comparative et « 10 questions cross-domaine », mais l’audit ne retrouve pas de calcul de perplexité correspondant dans les outputs committés.

#12432 a livré la baseline centroïde/LOO ; son acceptance ne couvre pas ces contradictions documentaires. Aucune PR ouverte ne touche le notebook.

Correction attendue

  • Aligner le matériel sur l’output réel ou retirer les claims machine figés.
  • Vérifier la source primaire et conserver un seul arXiv correct, avec attribution précise.
  • Soit calculer réellement les métriques annoncées et ré-exécuter, soit les qualifier explicitement comme exercices/propositions non mesurées ; ne pas présenter une perplexité absente comme résultat.

Acceptance

  • GPU cohérent avec l’output committé.
  • Identifiant Ilharco unique et vérifié firsthand.
  • Toute perplexité/éval annoncée est soit calculée dans des outputs réels, soit explicitement non mesurée.
  • Si code modifié : re-exécution end-to-end GPU, outputs réels, 0 erreur.

Finding Astra wave 2 — CONFIRMED_PEDAGOGY; la bibliographie doit être revalidée sur source primaire avant fix.

Activity

  1. jsboigeEPF commented on Sep 8, 2026

    @jsboigeEPF
    Author

    [CLAIMED] lane myia-po-2023:CoursIA-2 -- Grain: MED/genai — lane myia-po-2023:CoursIA-2 — prev: MED/guard #15243 -- paths: MyIA.AI.Notebooks/GenAI/FineTuning/FT-05-ModelMerging-Routing.ipynb -- Corriger GPU, bibliographie Task Vectors et métriques annoncées non mesurées; re-exécution GPU seulement si code modifié. -- paths: MyIA.AI.Notebooks/GenAI/FineTuning/FT-05-ModelMerging-Routing.ipynb

    (check_lane_claim #9774 -- server-stamped UTC; body timestamps are NOT authoritative. Release with [RELEASED] when your PR lands.)

  2. added 2 commits that reference this issue on Sep 9, 2026
  3. added a commit that references this issue on Sep 9, 2026
  4. added
    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
    and removed
    candidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
    on Sep 9, 2026
  5. myia-po-2023 commented on Sep 10, 2026

    @myia-po-2023
    Collaborator

    [CLAIMED] FT-05 contradictions documentaires + métriques — myia-po-2023:CoursIA 2026-09-10T21:55:43Z

  6. myia-po-2023 commented on Sep 10, 2026

    @myia-po-2023
    Collaborator

    [CLAIM WITHDRAWN] — myia-po-2023:CoursIA. Claim posé à tort : re-diagnostic firsthand sur origin/main@0102d652b3 montre que cette acceptance est déjà couverte par #15276 (MERGED, commit f6123c4d59, markdown-only), vérifié cellule par cellule :

    • GPU cohérent : plus aucune occurrence « 3090 » ; la cellule 3fc218c8 cite le matériel réel (RTX 3070 Laptop 8 Go) — ✓ vérifié.
    • arXiv unique : 2210.09316 absent de tout le notebook ; il ne reste que 2212.04089 (cellule 631283bf) — ✓ vérifié.
    • Métriques requalifiées : les cellules d'interprétation (b1cc4612, ba2645cd, 095833db, 981e8e66) portent désormais « non mesurée » explicitement — ✓ vérifié.
    • Code modifié : aucun (markdown-only) → pas de re-exécution requise.

    L'issue est restée ouverte faute de Closes #15263 dans #15276 — la fermeture revient au coordinateur (je ne close pas une issue d'autrui).

    Découverte incidente (firsthand, préexistante) : la cellule 631283bf contient deux sections « ## 2. Les Task Vectors » dupliquées (1445 chars — deux rédactions concurrentes de la même section, déjà présentes à d54f8053b, hors scope de #15276). Défaut de rendu distinct, non couvert par cette acceptance — à dispatcher séparément (grain notebook-dedup markdown-only).

    🤖 Generated with Claude Code

  7. jsboige commented on Sep 12, 2026

    @jsboige
    Owner

    [RELEASED] lane myia-po-2023:CoursIA — claim « FT-05 contradictions documentaires + métriques » (2026-09-10T21:55Z) LIBÉRÉ : substance livrée et MERGED via PR #15276 (doc-honesty : métriques non mesurées qualifiées, bibliographie Task Vectors, référence Ilharco). Régularisation rétrospective du ledger — merge effectué avant relâche formelle.

  8. jsboige commented on Sep 12, 2026

    @jsboige
    Owner

    [INFO] candidate-delivered — lane myia-po-2027:CoursIA, preuve firsthand :

    Rendemain main : fermeture/requalification au coordinateur (G.9, #15069). Le marqueur est posé pour le filtre has_delivered_signal du picker (#15802).

  9. myia-ai-01 commented on Sep 13, 2026

    @myia-ai-01
    Collaborator

    Fermeture — substance verifiee firsthand sur main, y compris les deux residus (G.9)

    Mesure directe de MyIA.AI.Notebooks/GenAI/FineTuning/FT-05-ModelMerging-Routing.ipynb a origin/main (3249 lignes, controle positif pose) :

    Motif Occurrences Lecture
    3090 0 la revendication materielle fausse a disparu
    2210.09316 0 la reference arXiv fantome a disparu
    3070 2 legitimes : l.55 prose « GPU 8 Go (NVIDIA GeForce RTX 3070 Laptop GPU, 8.6 GB VRAM, cf. cellule #1) » et l.88 sortie de cellule « GPU : NVIDIA GeForce RTX 3070 Laptop GPU, 8.6 GB VRAM » — la prose est desormais alignee sur la sortie reelle, ce qui est le fix
    2212.04089 2 legitimes : citation d'Ilharco et al. 2022 (task vectors), l.1109 et l.1119 — publication reelle, correctement attribuee

    J'avais d'abord mesure ces deux residus avec un grep a prefixe fixe qui ne pouvait pas matcher en debut de ligne : il rendait un vide que j'aurais pu lire comme une absence. Re-mesure faite sur la ligne entiere. Fermeture.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions