TV-00d : encodeur seul et encodeur-decodeur from scratch (bloc A, serie TransformerVariants) #22699

Grain: DEEP/notebook-python — lane myia-po-2025:CoursIA

Part of #18220 (pli 3, bloc NLP/LLM : « Encodeur seul et encodeur-decodeur from scratch — a verifier » ; premiere fille du pli 3 ouverte apres l'Etat mesure du 2026-10-26). Serie d'accueil : GenAI/Texte/TransformerVariants (EPIC d'origine #16058, close — la serie vit par ses conventions).

Pourquoi

Le corpus couvre le decodeur seul from scratch (3.4-Attention-Transformer-From-Scratch) et ses variantes (RoPE TV-00a, attention GQA/SWA TV-00b, MoE livre en 3.4c). Il manque les deux autres familles Transformer : l'encodeur seul bidirectionnel (style BERT, MLM) et l'encodeur-decodeur (style T5, attention croisee, seq2seq). C'est exactement ce que AutoModelForCausalLM ne montre pas — la raison d'etre de la serie TV.

Verification prealable ( faite, 2026-10-26 )

• Greps densite sur MyIA.AI.Notebooks (encodeur.decodeur|encoder.decoder, bert|masked lm|mlm, pre.entrainement.*gpt, noms de carnets) : aucun carnet dedie — densite max 3 en mentions de passage (2.9c Grokking, QC-Py-24 autoencoders = hors sujet), les autres hits sont du base64 PNG.
• TransformerVariants/ : TV-00a/b livres, TV-00c reserve (MoE livre comme 3.4c ailleurs), TV-01..04 livres. TV-00d libre.
• Aucune PR ouverte touchant la serie (verifie ce jour).

Livrable

GenAI/Texte/TransformerVariants/TV-00d-Encodeurs-from-scratch.ipynb — bloc A, contrat CPU de la serie (PyTorch + numpy, aucune dependance transformers), en francais, execute de bout en bout avec outputs (C.2), 3 exercices stubbes minimum sans erreur volontaire (C.1).

Contenu vise, chaque affirmation portee par une mesure :

1. Encodeur seul (MLM) — auto-attention bidirectionnelle (masque causal absent, 15 % de jetons masques), petit corpus francais ; mesures : courbe de perte, precision MLM vs taux de masquage (5/15/30 %), lecture des predictions de jetons masques.
2. Encodeur-decodeur (seq2seq) — decodeur avec attention croisee implementee from scratch, tache jouet bornee (normalisation de dates ou inversion accentuee) ; mesures : exact-match vs etapes, comparaison decodage glouton vs faisceau (beam=3), poids d'attention croisee visualises.
3. Contraste explicite avec 3.4 — le tableau decoder-only (3.4) vs encoder-only vs encoder-decodeur : ce que chaque masque (causal / bidirectionnel / croise) permet et interdit, dense en mesures reprises des deux premieres parties.

Critères d'acceptation

1. Le carnet s'execute de bout en bout en CPU (kernel python3), 0 erreur, outputs committes, execution_count non nuls partout.
2. Les trois mesures cles presentes et lues : precision MLM vs taux de masquage ; exact-match seq2seq (glouton vs faisceau) ; tableau comparatif des trois familles.
3. Au moins 3 exercices stubbes (pass / return None / TODO etudiant), sans raise NotImplementedError.
4. Ligne ajoutee au README de la serie (table Parcours), promesse mesuree conforme aux conventions TV.
5. Pas de duplication de 3.4 : l'attention multi-tete de base n'est pas re-derivee, elle est reprise/embarquee depuis l'existant de la serie (organes tv/ si pertinent).