Skip to content
Original file line number Diff line number Diff line change
Expand Up @@ -15,7 +15,7 @@
},
"source": [
"# 3.13b — Deux vraies cartes : DDP et FSDP sous nccl, et le rang qui fait attendre l'autre\n",
"**Navigation** : [<< 3.13 — Découper le modèle : DDP, ZeRO, FSDP](3.13-Decouper-le-Modele-DDP-ZeRO-FSDP.ipynb) · [Feuille de route de la série](README.md)\n",
"**Navigation** : [<< 3.13 — Découper le modèle : DDP, ZeRO, FSDP](3.13-Decouper-le-Modele-DDP-ZeRO-FSDP.ipynb) · [3.14 — Déboguer un entraînement qui n'apprend pas >>](3.14-Debug-Entrainement-N-Apprend-Pas-Python.ipynb) · [Feuille de route de la série](README.md)\n",
"\n",
"Le carnet 3.13 a découpé un modèle **huit fois** — DDP, ZeRO-1/2/3, pipelines — mais tout sur CPU, sous `gloo`, avec des octets comptés à la main. Il reste le geste que CPU ne peut pas faire : voir **nccl à l'œuvre**, mesurer la **mémoire réelle des cartes** (`max_memory_allocated`, pas un calcul), chronométrer **le pas** — et lire la signature du défaut le plus courant du multi-GPU : « ma carte attend l'autre ».\n",
"\n",
Expand Down
Loading
Loading