diff --git a/MyIA.AI.Notebooks/GenAI/FineTuning/FT-06-Vision-Language-LoRA.ipynb b/MyIA.AI.Notebooks/GenAI/FineTuning/FT-06-Vision-Language-LoRA.ipynb index c26b1a9fb4..13bde9f481 100644 --- a/MyIA.AI.Notebooks/GenAI/FineTuning/FT-06-Vision-Language-LoRA.ipynb +++ b/MyIA.AI.Notebooks/GenAI/FineTuning/FT-06-Vision-Language-LoRA.ipynb @@ -697,7 +697,7 @@ "tags": [] }, "source": [ - "**Lecture de la configuration LoRA.** `print_trainable_parameters()` affiche **7 274 496** paramètres entraînables sur **860 260 416** au total — **0,8456 %**. Comparez ce rapport à celui du FT-03 (0,8456 % aussi) : les adaptateurs ciblent les mêmes modules du décodeur, mais le dénominateur a grossi — la tour de vision et le merger, bien que gelés, pèsent dans le total. La VRAM avant entraînement (**1385 Mo**) donne le point de départ mémoire : les adaptateurs et leurs états d'optimiseur s'ajouteront à elle, mais le corps 4-bit ne bougera pas — c'est l'économie QLoRA. Vérifiez enfin dans la sortie de PEFT les modules réellement ciblés : `q/k/v/o_proj` pour l'attention complète, `linear_attn.out_proj` pour l'attention linéaire, `gate/up/down_proj` pour les MLP — les deux familles d'attention de l'architecture hybride Qwen3.5.\n" + "**Lecture de la configuration LoRA.** `print_trainable_parameters()` affiche **7 274 496** paramètres entraînables sur **860 260 416** au total — **0,8456 %**. À titre de comparaison, FT-03 reporte exactement les mêmes nombres ; **les deux outputs ne montrent aucune croissance**, et **LoRA cible les modules nommés ci-dessous** (le périmètre exact de la composition du dénominateur total — décodeur + éventuelles autres composantes du modèle — n'est pas établi par cette seule comparaison). La cible LoRA — `q/k/v/o_proj`, `linear_attn.out_proj`, `gate/up/down_proj` — est strictement côté langage ; `peft` n'ajoute aucune matrice d'adaptateur sur `model.visual.*` dans cette configuration. La VRAM avant entraînement (**1385 Mo**) donne le point de départ mémoire : les adaptateurs et leurs états d'optimiseur s'ajouteront à elle, mais le corps 4-bit ne bougera pas — c'est l'économie QLoRA. Vérifiez enfin dans la sortie de PEFT les modules réellement ciblés : `q/k/v/o_proj` pour l'attention complète, `linear_attn.out_proj` pour l'attention linéaire, `gate/up/down_proj` pour les MLP — les deux familles d'attention de l'architecture hybride Qwen3.5." ] }, {