Stable Diffusion UI - création d'image pas IA sur PC, Mac et Linux

Bonjour à tous !

Voici une petite merveille que j'ai découvert il y a peu.
Si comme moi vous vous intéressez à l'imagerie via l'intelligence artificielle vous vous êtes surement rendu compte qu'il y en a de plus en plus, mais il faut bien souvent mettre la main au portefeuille. Stable Diffusion est non seulement gratuit mais il s'installe en local sur l'ordinateur, vous aurez des images à profusion, sous peu que votre pc/mac soit suffisamment puissant. Car malheureusement les petites configurations ne pourront pas profiter de ce logiciel. Une bonne carte graphique est requise pour les calculs.

Stable diffusion est donc un programme qui permet de réaliser des images automatiquement grâce à l'IA intégrée. Il existe en plusieurs version. Une version très simple à installer, Stable Diffusion UI (ou Easy Diffusion), et une version plus compliquée à installer, Stable Diffusion web UI, mais qui possède beaucoup plus de fonctionnalités. Le programe, quelque soit la version, se chargera dans votre navigateur.

exemple d'images obtenues avec Stable Diffusion UI:

exemple d'images obtenues avec Stable Diffusion web UI:

PRÉSENTATION DES INTERFACES


Stage diffusion UI (Easy Diffusion)






Stage Diffusion web UI

INSTALLATION

Ce tuto est fait sur la base d'une installation Windows.

La version de Stage Diffusion est simple à installer, il suffit de télécharger à cette adresse :
https://stable-diffusion-ui.github.io
et de suivre les instructions pour l'installation.

La version Stage Diffusion Web UI est plus complexe, il faudra installer un autre programme.
Tiout est expliqué ici (un super tuto, je vous conseille la chaine, beaucoup de choses sur Stable Diffusion, et en français)
tuto pour installer Automatic1111 en un seul clic très facilement
https://www.youtube.com/watch?v=R8fYsfLE7Xs

Version plus longue et plus compliquée :
https://www.youtube.com/watch?v=nWwwyTMAhUs

Requis
Git for Windows :
https://gitforwindows.org/

Créer un dossier où vous installerez Stable Diffusion web UI (idéal à la racine d'une disque). Je prends l'exemple que j'installe Stable Diffusion sur le dique D et je créais un dossier appelé StableDiff

Dans Git entrez le code : cd /lettredudisque/chemindudossier
dans mon exemple : cd /d/StableDiff
appuyez sur entrer

sur Git écrivez :
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

téléchargez ensuite ces fichiers :
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
https://huggingface.co/runwayml/stable-diffusion-v1-5
https://huggingface.co/runwayml/stable-diffusion-inpainting
https://github.com/TencentARC/GFPGAN

Si vous n'avez pas installé Python sur votre PC il faudra le faire. Stable Diffusion ne fonctionne pas bien avec les nouvelles version, je conseille la version python-3.8.10 (il ne fonctionnait pas avec la dernière version)
https://www.python.org/downloads/release/python-3810/

Déplacez le fichier "GFPGANv1.4.pth" à la racine du dossier "StableDiff" (ou le nom que vous avez donné à votre dossier)
Allez dans le dossier StableDiff puis ouvrez le dossier "models" puis le dossier "Stable-diffusion" et là vous collez les 3 models téléchargés précédemment, c'est à dire "sd-v1-4.ckpt", "sd-v1-5-inpainting.ckpt", "v1-5-pruned.ckpt". Dans le dossier models, vous pourrez coller tous les models que vous pourrez télécharger plus tard, j'en ai trouvé tout un tas gratuits, fort interessants, j'en reparlerais plus tard. Dans ce dossier vous pouvez également créer des dossiers afin de classer vos models. Il existe de très nombreux models à télécharger gratuitement, on en reparle après.

LANCEMENT DU PROGRAMME

Stable Diffusion UI

Les paramètres (1) vous permettent de changer le répertoire des images enregistrées, et plein d'autres choses que je vous laisse découvrir. Dans la fenêtre des prompt (2), indiquez avec des mots en anglais ce que vous voulez obtenir comme image. Stable Diffusion vous permet également d'entrer un prompt négatif, écrivez ce que vous ne voulez pas voir apparaitre sur l'image (3). Lancez le rendu de l'image (4). Des options (5) vous permettent de modifier les réglages du rendu. à vous de faire vos propres expériences.



Le rendu peut être un peu long, tout dépend de la puissance de votre PC, moi ça met quelques secondes à se créer.



Il est possible d'ajouter des models à l'image, afin d'indiquer au programme quel type d'image vous voulez obtenir (réaliste, manga, dessin, etc.)




Rien qu'avec tout ça vous devriez obtenir de merveilleuses images, mais il vous faudra quand même patouiller et chercher un peu avant d'obtenir ce que vous voulez. Je conseille de renseigner dans les prompt positifs et promps négatif le maximum de choses.

LANCEMENT DU PROGRAMME


Stage Diffusion Web UI

Plus complet et plus compliqué aussi. Pour le lancer une première fois, retournez à la racine de Stable Diffusion, et double cliquez sur "webui-user.bat"
Attendez que ça finisse de charger.

Une fois fini, collez l'adresse suivante dans votre navigateur :
http://127.0.0.1:7860/

Ne fermez pas la fenêtre de commande qui est ouverte (la fenêtre noire), c'est la fenêtre Python qui permet de faire fonctionner le programme. Quand vous en aurez fini avec le programme vous pourrez la fermer.
La prochaine fois que vous voudrez lancer le programme, vous pouvez double cliquer sur le fichier "launch" (j'ai fait un raccourcis pour y accéder plus vite. Vous devrez ensuite, chaque fois, appuyez sur la touche Ctrl et cliquer sur le lien "http://127.0.0.1:7860" qui apparait dans la fenêtre de commande.



Dans le dossier il y a un fichier nommé "launch". Je vous conseille de faire un raccourcis vers ce fichier et la prochaine fois que vous lancerez le programme, passez par lui. Il faudra cependant toujours entrer l'adresse "http://127.0.0.1:7860" dans votre navigateur pour ouvrir le programme (et laisser la fenêtre de python ouverte)


Les images s'enregistrent par défaut dans un dossier installé dans le programme, si vous voulez changer il faudra aller dans "setting"/Paths for saving et changer le chemin du dossier (1)
Dans la fenêtre "txt2Img" entrez le prompt désiré (3)
exemple :

masterpiece, sharp focus, 8k, realistic, highly detailed, modelshoot style ((postapocalypse)) young woman leaning against the wall, beautiful intricate dirty face, slim full body intricate, top, shorts, dark, raining, intricate ruined city street

et dans la fenêtre en dessous le prompt négatf, ce que vous ne voulez pas voir apparaitre sur l'image (2)
exemple :

deformed, deformed hand, deformed hand, no fingers, grimace

Notez que si vous mettez des mots entre parenthèses ils seront plus forts, plus vous mettrez de parenthèses, plus ils seront pris en compte par le programme. Vous pouvez changer la taille de l'image (4) mais il est conseillé de rester sur le 512x512 avec la version 1.5.





Vous pouvez également choisir l'option "Create a text file next to every image with generation parameters." pour générer en même temps que l'image un fichier texte qui comprend tous les paramètres de l'image que vous avez obtenu, ça peut aider si vous voulez obtenir une image similaire à celle-ci.

Si l'image vous plait vous pouvez sur l’Icône verte en forme de flèche recyclage (5) afin de conserver le seed (numéro de l'image), ça vous permettra de refaire des images similaires à celle-ci. "Sampling steps" est réglé par défaut sur 20 (6). Plus il est important, plus le calcul le sera. C'est un peu compliqué à expliquer ici. Idem pour le CFG Scale (7). Dans un premier temps ne touchez pas à cette options, une fois que vous aurez comprit le fonctionnement vous pourrez modifier ces options.

Vous pouvez améliorer le visage en cliquant sur la case "Restore face"




Pour en savoir plus sur toutes les options du programme, je vous conseille la chaine suivante, en français, où tout est super bien expliqué :
https://www.youtube.com/@aiandpixels/videos

Les models (checkpoint) :

Sur mon exemple précédent, j'ai utilisé le model "sd-v1-4.ckpt", mais sachez qu'en utilisant un autre model l'image sera complètement différente.


Exepmle, j'utilise cette fois le model sd-v1-5-inpainting.ckpt (même prompts, même seed)




On trouve des tas de models téléchargeables gratuitement, mais il faut savoir qu'ils sont très gourmands en taille (parfois jusqu'à 7go), mieux vaut avoir un gros disque dur. Attention à la version du model, si vous avez une version 1.5 de stable diffusion UI et que vous installez un model pour la version 2 ça ne marchera pas.


voici l'exemple avec un model téléchargé sur le site civitai.com, dcAnimatedUniverse_v1. Ce model nécessite un mot clé pour fonctionner "Batman_the_animated_series", il faudra le rajouter au promp. Il donne un effet cartoon à l'image




Un dernier exemple de model avec elldrethsVividMix_v20VividEr (pas de mot clé à ajouter au promp)

Samping methode

Il existe également une option "Samping methode" qui permet de choisir un moteur de rendu. Il en existe une vingtaine inclue dans le programme. La version Easy Diffusion possède les mêmes.

euler a, euler, LMS, Heun, DPM2, DPM2 a, DPM++ 2S a, DPM++ 2M, DPM++ SDE, DPM fast, DPM adaptive, LMS karras, DPM2 Karras, DPM2 a Karras, DPM++ 2S a Karras, DPM++ 2M Karras, DPM++ SDE Karras, DDIM, PLMS

Chaque moteur rendra une image différente, avec le même prompt et le même checkpoint



Ici j'ai utilisé un script : X/Y Plot, sampler, X values : euler a, euler, LMS, Heun, DPM2, DPM2 a, DPM++ 2S a, DPM++ 2M, DPM++ SDE, DPM fast, DPM adaptive, LMS karras, DPM2 Karras, DPM2 a Karras, DPM++ 2S a Karras, DPM++ 2M Karras, DPM++ SDE Karras, DDIM, PLMS

afin de lancer plusieurs images en même temps


La version 1.5 et version 2 n'ont pas du tout les mêmes rendus sur les samplers suivants : LMS Karras, DPM2 Karras, DPM2 a Karras, DPM++ 2S a Karras, DPM++ 2M Karras, DPM++ SDE Karras

La version 2 de Stable Diffusion donne les meilleures images (selon moi) avec les sampters "DPM++ 2S a Karras" et "DPM++ SDE Karras"
Pour la version 1.5 (selon moi) ce sont les samplers suivants : Euler a, DPM++ 2M Karras, DPM2 Karras, DPM++ 2S a Karras

embeddings

En plus des models et des sampler, il existe aussi un autre type de fichier, les embeddings qui permettent, tout en restant avec le même model, de changer l'apparence de l'image. Ils sont moins lourds que les models. Certains embedding sont liés à des models pour fonctionner correctement.

Les embeddings ont besoin d'un mot clé pour fonctionner.
Exemple, j'ai gardé le même model que précédemment, et j'ai ajouté un embedding Style-Princess (https://civitai.com/models/3485/princess-style)




On voit que l'embedding l'emporte sur le promp

Le même embedding avec un model de base v1-5-pruned.ckpt :




l'embedding ne fonctionne pas avec cette version, il n'a prit en compte que le promp. Certains embedding ne fonctionnent qu'avec un model déterminé, regardez bien les inscructions avant de télécharger.

Dernier exemple avant de passer à autre chose (style plus manga) :
anythingV3_fp16.ckpt (https://civitai.com/models/66/anything-v3)


avec le style princess





sans le style princesse





Il existe encore des tas de fonctions dont je n'ai pas encore parler (comme le Img2Img et le train), ce sera peu être pour plus tard  

LIENS

Pour terminer, voici quelques liens pour télécharger des models & embedding :

https://civitai.com/
https://cyberes.github.io/stable-diffusion-textual-inversion-models/


Pour les prompts vous pouvez vous servir de ces sites :

https://lexica.art/
https://publicprompts.art/prompts-library/
https://www.stable-diffusion-france.fr/galerie.php
https://www.artbreeder.com/browse?modelName=collage&sort=random

Un outil intéressant pour créer un prompt à votre convenance (en français) :
https://www.stable-diffusion-france.fr/prompt-helper.php

Pour convertir les prompt V1.5 vers V2 :
https://huggingface.co/spaces/fffiloni/prompt-converter


Tutos :
https://www.youtube.com/@aiandpixels

Faire une image à l'infinie en l’agrandissant (en français)
https://www.youtube.com/watch?v=yheTVRJ8DcE


J'espère que tout ceci vous aura aider dans vos créations (ça a été très long à préparer)

img2img

à suivre

TRAIN

à suivre

réservé 1

réservé 2

Réservé 3

Coucou !
Superbe présentation merci !

Je pense qu'un grand nombre de ces informations seront également utilisables avec InvokeAi
La prise en main de ces IA va nous demander pas mal de temps mais au final c'est carrément génial !

A bientôt !