Skip to content

ICT-41b, ICT-44, ICT-47 : HF_HOME par défaut à D:/hf-cache-crosscoder, soit 7 Go de poids dans le clone sous Linux et macOS #19654

Closed

Description

@jsboige

Signalé par la session cloud d'agnosticisme du mainteneur (hors flotte, #17713). Ces trois notebooks exigent CUDA, je ne peux donc pas les ré-exécuter ici (exception GPU de la règle F). Le constat est mesuré sur main (bf96b9746) ; la correction est à faire et à ré-exécuter sur une machine GPU.

Constat

La première cellule de code de trois notebooks IIT/ICT-Series contient :

os.environ.setdefault("HF_HOME", "D:/hf-cache-crosscoder")
  • ICT-41b-Crosscoder-Distillation-Python.ipynb (index 3)
  • ICT-44-GeometryOfTruth-Python.ipynb (index 4)
  • ICT-47-PainAxisDistillation-Python.ipynb (index 4)

Sous Windows, c'est le cache provisionné d'une machine. Sous Linux et macOS, quand HF_HOME n'est pas défini (le cas d'un visiteur), D:/hf-cache-crosscoder n'est pas un chemin absolu : Hugging Face le résout depuis le cwd, c'est-à-dire le dossier du notebook. Les poids, 7 Go pour ICT-41b d'après sa cellule de prérequis, se téléchargent alors dans MyIA.AI.Notebooks/IIT/ICT-Series/D:/hf-cache-crosscoder/, à l'intérieur du clone. Ce chemin n'est pas ignoré : git check-ignore rend 1, donc un git add . les stagerait. Même sous Windows, sur une machine sans lecteur D:, le cache par défaut de l'utilisateur est contourné.

Correction proposée

Supprimer la ligne : HF_HOME, s'il est défini dans l'environnement, s'applique déjà, et le défaut de Hugging Face (~/.cache/huggingface) vaut sur les trois systèmes. Si le cache provisionné doit rester le défaut de la machine GPU, le poser dans son environnement plutôt que dans le notebook. La phrase de prérequis d'ICT-41b (index 2, « On fixe HF_HOME vers le cache provisionné de la machine si absent ») suivrait.

Ré-exécution requise après la modification (C.2), sur la machine qui porte ces runs.


Generated by Claude Code

Activity

  1. jsboige commented on Oct 8, 2026

    @jsboige
    OwnerAuthor

    [CLAIMED] lane myia-po-2026:CoursIA -- paths: MyIA.AI.Notebooks/IIT/ICT-Series/ICT-41b-Crosscoder-Distillation-Python.ipynb, MyIA.AI.Notebooks/IIT/ICT-Series/ICT-44-GeometryOfTruth-Python.ipynb, MyIA.AI.Notebooks/IIT/ICT-Series/ICT-47-PainAxisDistillation-Python.ipynb -- suppression des 3 setdefault HF_HOME + phrase de prerequis 41b, re-execution GPU locale (po-2026 porte le GPU, libre a l'instant : 0 MiB / 0 %)

  2. jsboige commented on Oct 8, 2026

    @jsboige
    OwnerAuthor

    [DELIVERED] lane myia-po-2026:CoursIA -- PR #19887 (tête 026e013) : les 3 lignes setdefault HF_HOME supprimées + phrase de prérequis 41b, re-exécution GPU réelle des 3 carnets (kernels inchangés, HF_HOME passé par l'environnement de la machine — la prescription du body). Kernel machine coursia-ml-training réparé au passage (règle F : repointé de py3.13-système vers l'env canonique py3.10.19 portant la stack déclarée). Détail complet et diagnostic de dérive (47 : retour 3.12.15 -> 3.10.19 au canon du kernel py310-gpu) dans le body de la PR.

  3. added a commit that references this issue on Oct 8, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions