Willkommen zum Abschlussprojekt dieses Kurses! In diesem Projekt setzt du dein Wissen über Sprachmodelle in die Praxis um und entwickelst dein eigenes autoregressives Modell auf Basis von PyTorch. Zusätzlich lernst du Tools wie Weights & Biases (wandb) und den Hugging Face Model Hub kennen – genau wie im echten ML-Workflow.
- Erstelle ein Decoder-only Sprachmodell mit Modulen aus
torch.nn. - Du darfst z. B.
nn.TransformerDecoder,nn.TransformerDecoderLayerusw. verwenden. - Das Modell soll autoregressiv funktionieren (wie GPT).
- Verwende einen Tokenizer aus der Hugging Face
transformers-Bibliothek. - Beispiel:
AutoTokenizeroderGPT2Tokenizer.
- Trainiere dein Modell für mindestens 3 Epochen (5 empfohlen).
- Nutze einen kleinen Datensatz wie Tiny Shakespeare, WikiText-2 oder einen eigenen.
- Dein Modell sollte auch auf einer CPU trainierbar sein (< 1 Mio Parameter).
- Schreibe den Trainingsloop komplett selbst in PyTorch (kein
Trainerverwenden).
- Berechne nach jeder Epoche den Loss auf einem Validierungsdatensatz.
- Der Loss muss während des Trainings sichtbar sinken.
- Verwende wandb, um Trainings- und Eval-Loss zu loggen.
- Lade dein Modell am Ende auf den Hugging Face Model Hub.
- Füge eine kurze Model Card mit Beschreibung und Tags hinzu.
- Forke dieses Repository.
- Erstelle einen Branch mit deinem Namen, z. B.
max-mustermann-final. - Füge deine
.py-Datei oder dein Jupyter-Notebook sowie eineREADME.mdhinzu. - Erstelle einen Pull Request bis spätestens 23:59 Uhr am 27.04.2025.
Wenn du möchtest, kannst du zusätzlich ein vortrainiertes Modell wie GPT-2 mithilfe der Hugging Face transformers-Bibliothek finetunen:
- Lade ein GPT-2-Modell und den passenden Tokenizer (
GPT2Tokenizer) mitfrom_pretrained. - Trainiere es auf deinem Datensatz mit der
TrainerAPI. - Logge mit wandb und lade auch dieses Modell auf Hugging Face hoch.
- Logging mit wandb, das Hochladen auf den Hugging Face Hub und der Pull Request auf GitHub sind Pflicht.
- Die Modellqualität ist nicht entscheidend, aber der Loss muss sinken.
- Du wirst am Montag, den 28.04.2025 dein Projekt präsentieren und deinen Code erklären.
Viel Erfolg! 🚀