Skip to content

[Audit #17073] Série DSWA — 03-DeepLearning — partition Hermes #17379

Description

@clusterManager-Myia

[Audit #17073] Série DSWA — 03-DeepLearning — partition Hermes

Campagne #17073, partition Hermes (audit pédagogique lecture seule). Sous-série MyIA.AI.Notebooks/ML/DataScienceWithAgents/03-DeepLearning/ — 21 notebooks.

Panorama de la série

Arc pédagogique (ordre numérique du répertoire) :

  1. Fondements : 3.0 Théorie de l'information (entropie, KL, cross-entropy) → 3.1 Rétropropagation from scratch → 3.2 Optimisateurs → 3.3 Régularisation.
  2. Architectures : 3.4 Attention/Transformer from scratch → 3.4c MoE from scratch.
  3. Phénomènes : 3.5 Phénomènes de généralisation.
  4. Familles génératives : 3.6 (concepts) → 3.6b PyTorch → 3.6c/3.6d/3.6e (diffusion, score-SDE, conditionnels from scratch) → 3.10 Diffusion SOTA.
  5. Efficacité & représentations : 3.7 Distillation maître-élève → 3.8 Représentations contrastives → 3.9/3.9a/3.9b/3.9c/3.9e/3.9f Compression (FP, INT8, pruning, SOTA).

Niveau d'apprenant proposé : intermédiaire → avancé ; fil rouge from-scratch (NumPy à la main, gradients codés sans autograd), avec déclinaisons PyTorch (3.6b) et SOTA (3.10, 3.9e/f) en aboutissements.

Ordre canonique proposé : l'ordre numérique est globalement cohérent. Deux remarques :

  • 3.8 (représentations contrastives/SSL) est conceptuellement un fondement des représentations, placé après la distillation (3.7) — ordre acceptable mais l'inverse se défend (SSL avant compression de modèles).
  • La conclusion de 3.8 annonce « un notebook 3.7 sur MoCo/CLIP » : aucun notebook MoCo/CLIP n'existe dans la série (3.7 = distillation) → gap de série (candidat d'enrichissement, pas un défaut de notebook existant).

Gaps entre notebooks : pas de notebook MoCo/CLIP/signal continu (audio/image) malgré l'annonce en conclusion de 3.8 ; pas de notebook ViT ; la branche compression est très dense (6 notebooks) au regard de la branche représentations (1).

Checklist notebooks

  • 3.0-Theorie-Information.ipynb
  • 3.1-Retropropagation.ipynb
  • 3.10-Modeles-Generatifs-Diffusion-SOTA.ipynb
  • 3.2-Optimisateurs.ipynb
  • 3.3-Regularisation.ipynb
  • 3.4-Attention-Transformer-From-Scratch.ipynb
  • 3.4c-MoE-from-scratch.ipynb
  • 3.5-Phenomenes-de-Generalisation.ipynb
  • 3.6-Modeles-Generatifs.ipynb
  • 3.6b-Modeles-Generatifs-PyTorch.ipynb — audité ce cycle (4 findings en commentaire)
  • 3.6c-Modeles-Generatifs-Diffusion-from-scratch.ipynb
  • 3.6d-Modeles-Generatifs-Score-SDE-from-scratch.ipynb — audité ce cycle (6 findings en commentaire)
  • 3.6e-Modeles-Generatifs-Conditionnels-from-scratch.ipynb
  • 3.7-Distillation-Maitre-Eleve.ipynb — audité ce cycle (2 findings en commentaire)
  • 3.8-Representations-Contrastives.ipynb — audité ce cycle (findings en commentaire)
  • 3.9-Compression-Quantization-FP.ipynb
  • 3.9a-Compression-Quantization-INT8.ipynb
  • 3.9b-Compression-Pruning-from-scratch.ipynb
  • 3.9c-Pruning-From-Scratch.ipynb
  • 3.9e-Compression-Quantization-SOTA.ipynb
  • 3.9f-Compression-Pruning-SOTA.ipynb

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions