ComfyUI

Au lieu d’utiliser une simple interface linéaire ou des formulaires, ComfyUI propose une approche par noeuds/réseau, où chaque composant (modèle de diffusion, encodeur de texte, samplers, VAEs, modules de restauration ou de suréchantillonnage (upscaling)) est représenté comme un noeud. Ces noeuds sont reliés pour former un graphe de traitement, permettant de configurer précisément chaque étape du pipeline génératif, depuis la génération initiale jusqu’aux effets finaux.

Une particularité importante est que seules les parties du workflow qui sont modifiées sont recalculées à chaque exécution, ce qui améliore l’efficacité et réduit le temps d’attente lors des expérimentations visuelles.

Cette interface fonctionne localement : les calculs se font sur l’ordinateur de l’utilisateur, ce qui permet un meilleur contrôle des données, de la confidentialité, et évite les limitations de services cloud payants.


Avec Comfy, il est possible de faire plusieurs tâches :

- Génération d’images à partir de textes (text-to-image), en combinant différents modèles, en jouant sur les paramètres de diffusion (nombre d’étapes, samplers, etc.), en ajoutant ou supprimant des effets intermédiaires.

- Edition d’images existantes via inpainting ou masques, suppression ou modification de zones spécifiques, amélioration de la qualité via upscaling ou restauration de traits (visages, détails, etc.).

- Expérimentation de workflows complexes : juxtaposition de modèles, enchaînement de transformations, utilisation de modules d’édition tels que ControlNet, embeddings, LoRA, pour obtenir des rendus très personnalisés.

- Création de rendus vidéo ou de variations animées (avec des extensions ou modules compatibles), par exemple transformer une série d’images ou un flux stable diffusion en animation, ou produire des variations temporelles.

- Partage ou réutilisation de workflows : un utilisateur peut concevoir une configuration de pipeline, la sauvegarder, la partager, et la réutiliser ou l’adapter. Cela facilite la reproduction d’un rendu ou le travail collaboratif.