GenAI/Image : notebook CLIPasso — le sketching sémantique par CLIP (SIGGRAPH 2022)

Contexte

Demande user (2026-09-17) : enrichir la série GenAI/Image de deux références pré-Stable-Diffusion chères au user. CLIPasso : « un modèle également assez vieux, l'un des premiers usages de clip que j'ai trouvé fantastique » — la publication est retrouvée et rangée dans la biblio canonique :

G:\Mon Drive\MyIA\IA\Bibliographie IA\MachineLearning\2022 - Vinker et al - CLIPasso - Semantically-Aware Object Sketching.pdf
(arXiv 2202.05822v2, identité vérifiée page 1, SHA-256 contrôlé ; publication ACM TOG 41(4) — SIGGRAPH 2022, DOI 10.1145/3512508)

CLIPasso convertit une image d'objet en esquisse vectorielle de quelques traits (4 à 32 courbes de Bézier), en préservant la sémantique : même à 4 traits, l'objet reste reconnaissable — parce que l'optimisation (héritée de CLIPDraw) est guidée par CLIP (distance cosinus entre embeddings CLIP de l'esquisse augmentée et de l'image source), pas par un signal bas-niveau. C'est l'un des premiers usages spectaculaires de CLIP comme fonction de perte sémantique plutôt que comme classifieur.

Points pédagogiques à couvrir

Abstraction contrôlée par le nombre de traits : 32 → 16 → 8 → 4 traits sur le même objet = spectrice abstraction, avec seuil où la sémantique tient encore ;
Sémantique vs signal : contraster avec un edge-detector classique (Canny) — Canny garde les contours, perd le sens ; CLIPasso perd les contours, garde le sens. C'est LA démonstration du notebook ;
Initialisation par saillance : les traits partent des zones saillantes (FCNS saliency map) — pourquoi ça compte pour la convergence ;
Héritage CLIPDraw (Frans et al. 2021) et descendance (CLIPascenes, etc.) : CLIP comme loss est devenu un paradigme.

Livrable

Notebook MyIA.AI.Notebooks/GenAI/Image/05-History/05-2-CLIPasso-Semantic-Sketching.ipynb (même rayon 05-History — Racines pré-Stable-Diffusion que l'issue DiscoDiffusion ; placement à ajuster au delivery).

Contenu attendu :

Publication étudiée (citer le chemin biblio complet ci-dessus, cf README biblio règle 4) ;
Exécution réelle du repo officiel github.com/yael-vinker/CLIPasso (MIT) en local GPU (RTX 3090) sur des images de la série (ex. la référence robot du 03-4, une image générée du 01/02) ;
Grille d'abstraction 32/16/8/4 traits sur un même objet + comparaison Canny même image ;
≥ 3 exercices stubbés (règle C.1 : pass / return None, jamais raise NotImplementedError) — ex. nombre de steps d'optimisation, changement d'image cible, mesure de « sémanticité résiduelle » (similarité CLIP esquisse/image en fonction du nombre de traits).

Critères d'acceptation

Notebook FR-first, committé AVEC outputs (C.2), exécution complète kernel local (H.1 : execution_count 1..N, 0 erreur) ;
Vraies esquisses générées par le code officiel (verdict SOTA écrit dans le body PR, cf EPIC: axis-2 SOTA ledger -- every notebook PR-reviewed for proper SOTA-tool install/invocation (recoverable -> re-plug machine/env/user-hand) #3801 — SOTA-OK attendu : repo MIT, GPU local disponible) ;
La comparaison sémantique vs Canny est générée, pas décrite ;
Publication citée par son chemin biblio complet dans le notebook ;
Entrées README série + niveau 05-History ;
Figure README (grille d'abstraction) + QA visuelle sur lane vision (po-2023 est text-only).

Notes

Dépendances : torch, CLIP ViT-B/32 (auto-téléchargé), FCNS saliency — tout local, pas de service externe ;
Voir EPIC: axis-2 SOTA ledger -- every notebook PR-reviewed for proper SOTA-tool install/invocation (recoverable -> re-plug machine/env/user-hand) #3801 (registre SOTA GenAI) et GenAI GPU optimization: quantization + idle sleep for all services #1385 (Epic série GenAI).

[CLAIMED] #16478 — myia-po-2023:CoursIA 2026-09-17T05:02:00Z

paths: MyIA.AI.Notebooks/GenAI/Image/05-History/05-2-CLIPasso-Semantic-Sketching.ipynb (nouveau), MyIA.AI.Notebooks/GenAI/Image/05-History/README.md (nouveau rayon), MyIA.AI.Notebooks/GenAI/Image/README.md (entrée série), MyIA.AI.Notebooks/GenAI/Image/05-History/assets/ (figure README + MANIFEST).
Preflight : 0 commentaire sur l'issue, gh pr list --state all --search "16478" et --search "CLIPasso" vides, rayon 05-History absent d'origin/main (5215cbd), GPU RTX 3090 libre (733 Mo/24 Go).
Grain DEEP multi-cycles assumé (exécution réelle du repo officiel + grille 32/16/8/4 + Canny) — livraison attendue c.9/c.10.
Issue soeur GenAI/Image : notebook rétrospectif DiscoDiffusion — la CLIP-guided diffusion pré-Stable-Diffusion #16477 (DiscoDiffusion, même rayon 05-History) NON claimée par ce grain.

[CLAIMED-AMEND] myia-po-2023:CoursIA — 2026-09-17T07:5xZ

Grain inchangé (notebook 05-2 + exécution réelle de la grille 32/16/8/4). Traçabilité des adaptations d'exécution sur le code officiel local (outils hors repo, D:/Dev/clipasso-run) — la liste monte à 5 :

scipy : scipy.ndimage.filters → scipy.ndimage (models/painter_params.py) ;
diffvg : pyproject.toml poetry neutralisé (build = setup.py CMake/MSVC) ;
épingles 2022 ignorées (torch 1.7 → env du cours) ;
F._pad → F.pad (CLIP_/clip/auxilary.py) — API privée retirée de torch 2.8 ;
diffvg recompilé avec CUDA (DIFFVG_CUDA=1, nvcc 12.6 via env conda dédié, CMAKE_CUDA_STANDARD 11→17 exigé par thrust 2.3, arch sm_86) — le build CPU initial faisait échouer pydiffvg.set_use_gpu(True) (RuntimeError: diffvg not compiled with GPU), obligatoire pour tenir 2 001 iters × 12 runs (CLIP sur CPU non viable).

Toutes documentées dans la cellule « Installation de l'outil officiel » du notebook. Livraison toujours visée c.9/c.10 comme annoncé.

Status du claim (réponse au rappel) — le grain n'est pas oublié, il est en cours et proche de livraison :

Avancement réel (worktree feature/16478-clipasso-semantic-sketching) :

Outil officiel exécuté : clone CLIPasso + diffvg recompilé CUDA (nvcc 12.6, sm_86) — les 5 adaptations documentées dans la cellule « Installation » ;
Grille camel 32/16/8/4 traits exécutée (1001 iters/run, bests SVG sur disque) ;
Notebook 21 cellules rédigé (principe, installation, grille, Canny, courbe CLIP de sémanticité, 3 exercices), README du rayon 05-History + assets ;
Une passe d'exécution partielle (12:59Z) a validé install + cibles puis s'est interrompue avant le rendu final — pas de défaut bloquant identifié.

Pourquoi le glissement c.9/c.10 → maintenant : les cycles de l'après-midi ont été consommés par 2 réparations P0 dispatcher HIGH du coordinateur (DM 13:08Z #16490 Parameters sans output — ré-exécution GPU contre ComfyUI en vol à l'instant ; DM 13:19Z #16448 oracle rang 3 — livrée à 14:35Z, head 73f0876).

Plan immédiat : dès la ré-exécution #16490 rendue, ré-exécution complète du présent notebook (le dur est déjà calculé) puis PR. Pas de changement de périmètre.

🤖 Generated with Claude Code

[DELIVERED] PR #16595 — feature/16478-clipasso-semantic-sketching (base main 0aa1847f43, commit 1a2c466f00)

Notebook 05-2-CLIPasso-Semantic-Sketching.ipynb livré avec outputs réels :

SOTA-OK (EPIC: axis-2 SOTA ledger -- every notebook PR-reviewed for proper SOTA-tool install/invocation (recoverable -> re-plug machine/env/user-hand) #3801) : code officiel CLIPasso (MIT) exécuté sur GPU local — diffvg recompilé CUDA (nvcc 12.6, sm_86), runs d'optimisation 1001 itérations/point.
Grille d'abstraction 32/16/8/4 : 4 runs officiels sur la cible chameau du papier (bests _32/16/8/4strokes_seed0_best.svg, horodatés 17-18/09) — le notebook réutilise ces artefacts via garde idempotent avec lignes de provenance dans les outputs.
Exécution complète : 10/10 cellules code, execution_count 1..10, 0 erreur, 0 cellule sans output, 0 leak de chemin machine (C.2/H.3 OK).
3 exercices stubbés conformes C.1 (print("Exercice N a completer") + result = None # TODO).
Rayon 05-History créé (README + figure grille extraite de l'exécution + MANIFEST de provenance des assets).
QA visuelle des figures déléguée au merge-gate (lane GLM text-only).

Adaptations d'exécution du repo officiel documentées dans le notebook (scipy, F.pad, poetry neutralisé, build CUDA diffvg).

Closes via PR #16595.

feat(genai,#16478): 05-2 CLIPasso — seconde cible robot + A/B du cout…

feat(genai,#16478): notebook 05-2 CLIPasso — sketching semantique par…

feat(genai,#16477): 05-1 DiscoDiffusion — CLIP-guided diffusion pré-S…

Navigation Menu

Repository navigation

GenAI/Image : notebook CLIPasso — le sketching sémantique par CLIP (SIGGRAPH 2022) #16478

Contexte

Points pédagogiques à couvrir

Livrable

Critères d'acceptation

Notes

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

GenAI/Image : notebook CLIPasso — le sketching sémantique par CLIP (SIGGRAPH 2022) #16478

Description

Contexte

Points pédagogiques à couvrir

Livrable

Critères d'acceptation

Notes

Activity

jsboige commented on Sep 17, 2026

jsboige commented on Sep 17, 2026

jsboige commented on Sep 17, 2026

jsboige commented on Sep 17, 2026

Metadata

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Issue actions