Mes recherches avec Stable Diffusion

Bonjour à tous !

ça fait plusieurs semaines que je travaille avec stable diffusion, j'ai fais des tas de recherches sur ses fonctionnalités, et je n'ai pas encore fait tout le tour tant il y a à découvrir.


L'ENTRAINEMENT SUR IMAGES :
Permet d'utiliser ses propres images pour réaliser ensuite des images avec votre style propre. Ici je parle d'images personnelles mais notez que vous pouvez utiliser n'importe quelle images recueillies, mais attention au droit d'auteur. J'ai donc testé avec mes dessins couleurs, dessins en noir et blanc, mais aussi avec mon visage lol
il est aussi possible d'utiliser des images d'un personnage réalisé sous daz studio par exemple.
L’avantage c'est que tout reste sur votre pc, pas de soucis qu'un logiciel tier utilise vos images / photos sans votre permission comme c'est souvent le cas sur la plupart des applications gratuites sur téléphone.

L'entrainement (TRAIN) peut se faire de 2 façons : embedding et hypernetwork. C'est l'hypernetwork qui donne les meilleurs résultats selon moi (bien que l'embedding est plus doux), cependant les deux ensembles le résultat est bien mieux. Cependant il n'est possible de l'utiliser que sur le "checkpoint" sur lequel vous l'aurez entrainé, vérifiez donc bien lequel vous utilisez.Je mettrais en ligne un tuto pour expliquer comment faire. Voici le résultat que j'obtiens en l'entrainant avec mes dessins en noir et blanc

Prompt a écrit:Beautiful illustration of a fairy, by art sylvies

Prompt négatif a écrit:Negative prompt: out of frame, (mutilated:1.3), (deformed:1.3), (rough proportions:1.3), (disfigured: 1.3), (mutated hands: 1.3), (wrong hands: 1.3), (extra fingers: 1.3), limbs additional, broken limb, asymmetrical eyes, signature, ((text)), letters, username, artist username

checkpoint utilisé : 786-v-ema.ckpt
image obtenue avec le prompt l'hypernetwork actif et l'embedding ensembles (après plusieurs essais), c'est très proche de mes dessins.

Spoiler:

J'ai encore des choses à améliorer, et des essais à réaliser ^^ (je crois que j'ai effacer des fichiers qu'il ne fallait pas, il faut que j'étudie ça)



LES EXTENSIONS:
Il est possible d'installer des extensions à rajouter à Stable Diffusion. L'une des meilleures reste ControlNet qui permet d'utiliser une image référence et obtenir une image qui y ressemble, bien mieux que ne le fait le module Img2Img

dessin original:

résultat:

Pleins de choses encore passionnantes, je teste je teste ^^