Skip to content

Fix(genai,#19451): FT-00c audit v2.1 -- parite des runtimes FT-00a/FT-00c revendiquee a tort #20539

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Closed
jsboige wants to merge 1 commit into from
Closed

Fix(genai,#19451): FT-00c audit v2.1 -- parite des runtimes FT-00a/FT-00c revendiquee a tort #20539

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions MyIA.AI.Notebooks/GenAI/FineTuning/FT-00c-LoRA-SOTA-Comparison-Python.ipynb
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -120,7 +120,7 @@
"source": [
"### Lecture du résultat : l'environnement d'exécution\n",
"\n",
"La comparaison avec FT-00a n'a de sens que si les deux notebooks tournent sur la **même machine, même build PyTorch, même device** — c'est le cas ici (CPU). `peft` est la seule dépendance ajoutée au protocole de FT-00a ; tout le reste (dataset, modèle, optimizer, graine) est repris bit à bit."
"La comparaison d'exactitude avec FT-00a est valide sans réserve : protocole repris bit à bit (dataset, modèle, optimizer, graine), `peft` seule dépendance ajoutée. La comparaison de **temps**, en revanche, ne l'est pas : les deux runs committés ne partagent ni device ni build — FT-00a s'exécute sur GPU (`PyTorch 2.8.0+cu126`, RTX 3090), ce carnet sur CPU (`PyTorch 2.13.0+cpu`), cf. les deux sorties d'environnement ci-dessus et en FT-00a. La section 4 tient compte de cette réserve sur la colonne temps."
]
},
{
Expand Down Expand Up @@ -973,7 +973,7 @@
"- **Exactitude** : les trois adaptations (peft, from scratch, full) récupèrent le même ordre de grandeur. Le full fine-tuning des mêmes couches reste devant — 6,5× plus de paramètres libres achètent quelques points.\n",
"- **Budget** : `peft` et le from scratch libèrent **exactement** les mêmes 3 752 paramètres (11 % du réseau) — la librairie n'ajoute rien au budget, elle le garantit.\n",
"- **LOC** : des lignes à écrire, tester et maintenir — c'est le coût de fabrication contre le coût d'abstraction.\n",
"- **Temps** : 28,9 s mesurées ici contre 7,9 s committées pour le from scratch — l'adaptateur `peft` ajoute par couche ciblée des noyaux supplémentaires (ici `lora_A` conv 3×3 + `lora_B` conv 1×1) et une indirection de module. Sur cette mini-tâche CPU le rapport est visible ; sur un LLM, il est noyé dans le coût du forward du backbone. Les deux runs n'ont pas non plus partagé la charge machine.\n",
"- **Temps** : 28,9 s mesurées ici (CPU) contre 7,9 s committées pour le from scratch (GPU) — les deux runs ne partagent ni device ni build : ce rapport ne mesure **pas** un surcoût `peft`. L'adaptateur ajoute certes par couche ciblée des noyaux supplémentaires (ici `lora_A` conv 3×3 + `lora_B` conv 1×1) et une indirection de module, mais cet effet est invisible sur cette paire de runs ; sur un LLM, il est de toute façon noyé dans le coût du forward du backbone.\n",
"- **Écosystème** : c'est la vraie ligne de fracture. L'adaptateur `peft` est un **artefact portable** (section 5) : quelques kilo-octets sérialisables, rechargeables sur toute copie de la base, fusionnables — et compatibles avec `transformers.Trainer`, `accelerate`, l'export. La classe maison de FT-00a n'a aucun de ces rails.\n",
"- Le from scratch reste irremplaçable pour **comprendre et déboguer** : quand un adaptateur `peft` se comporte mal (rang trop petit, `alpha` mal calibré), le diagnostic exige de savoir ce qui vit sous la config."
]
Expand Down
Loading