Runway ML - généarteur, automatisme, IA...

Runway ML est un logiciel de type "Machine learning", c'est à dire qu'il utilise une IA qui apprend de ses expériences.

Une petite vidéo pour expliquer ce qu'est le machine learing






RunwayML est un logiciel conçu sur la base d'une IA de ce type, pour les créateurs. Ainsi il peut gérer de nombreuses requêtes créatrices, comme des générateurs d'images (exemple), des générateurs de textes, des transformations d'images, des suivit de visages, de corps, etc.

On peut le trouver gratuitement à cette adresse :
https://runwayml.com/

Mais attention, chaque projet risque de vous coûter un peu d'argent, car s'il est gratuit à télécharger, lancer des calculs ne l'est pas, sauf si vous lancez ces projets en local.

Il faut tout d’abord vous inscrire. Vous obtiendrez un crédit gratuit de 10$ et un training gratuit (je reviendrais plus loin sur ce qu'est un training). Un code pour obtenir 10$ supplémentaire = CODINTRAIN (voir la vidéo ci-dessous pour voir où installer le code)



Pour débuter, je me suis aidée de ce tuto (en anglais, mais on peut activer les sous titres)





La bibliothèque regorge de projets divers. J'ai d'ailleurs mit l'un de mes projets en public (cherchez manga01). La vidéo ci-dessus explique comment ouvrir un des projets et l'utiliser.

Certains projets peuvent être téléchargés en local sur le pc, ce qui permet ne ne pas dépenser un centime. Mais il faut savoir que les projets sont assez lourds (en moyenne 3Go), donc mieux vaut avoir de la place sur le pc.

choisissez un projet et cliquez sur l’œil en bas à gauche




Vérifiez si vous pouvez travailler en local, si le CPU est coché pour les deux cases alors il est possible de le télécharger sans coût supplémentaire. Pour l'ajouter à votre espace de travail, cliquez sur Add Workspace et choisissez la catégorie (si vous n'avez pas encore créé d'espace de travail cliquez sur new workspace, vous pouvez ainsi classer vos projets par theme)





Si le CPU n'est pas supporté, le projet ne pourra se faire qu'à distance (et donc coût supplémentaire)

1) Projets gratuits

Commençons par un projet qui peut être téléchargé... par exemple "Adaptive style transfer". Ajoutez le à votre espace de travail. Il s'agit d'un projet qui adapte les photos/dessins/images en toile de maitre.




Dans l'interface du projet (1) vous verrez un bouton violet (2) qui permet de lancer le calcul. Cependant il s'agit d'un calcul en ligne et non pas en local (coût $). Avant de lancer quoi que ce soit, cliquez sur "Show Advenced Options" (3)






Dans "run location", choisissez "local" (1). Vous verrez alors une case rose apparaitre (2) vous indiquant qu'un composant n'est pas installé. Il s'agit d'un autre programme, Docker, qui doit être installé pour pouvoir lancer le téléchargement. Cliquez sur le bouton bleu pour ouvrir la fenêtre de téléchargement qui s'ouvrira dans votre explorateur (ou téléchargez le ici)





Une fois le programme installé, et Runway relancé, il faudra toujours le laisser ouvert lorsque vous lancerez le calcul de votre projet, sinon il y aura des messages d'erreurs.

Une fois Runway relancé, vous pourrez télécharger le projet dans sa globalité afin de faire les calculs en local. Cliquez sur le bouton bleu pour télécharger (ça prend un certain temps)




Une fois tout ça installé, vous pouvez cliquer sur l'image à traiter (1), vous avez plusieurs options, à vous de choisir ce qui vous convient (camera, image,..). Sélectionnez le rendu désiré (2) (ici Cézanne). L'image sera obtenue dans la partie inférieur, où vous pourrez l'exporter (3). Cliquez sur "Run locality" pour lancer le calcul (4). Vous pouvez cliquer droit sur l'image terminée pour l'enregistrer (5) ou l'enregistrer par les options de l'export (6)

2) Projets payants


à présent nous llons faire la même chose, mais avec un projet que nous ne pouvons pas télécharger. Le caclu est trop important pour être traité par notre ordinateur, il faut donc utiliser un ordinateur à distance, ce qui va coûter des unités.


Vous pouvez vérifier dans votre profil en bas à gauche, ce qui vous reste comme unités. Veillez toujours à avoir un œil dessus, car ça diminue très vite. Plus haut j'ai indiqué un code pour obtenir 10$ en bonus. Vous débutez donc, si tout va bien, avec 20$ d'unité.

Il faut savoir = 1 minute par calcul coûte 0.05$ ; une image obtenue coûte 0.005$

Il est possible de rajouter des crédits moyennant monnaie.

Pour différencier les projets de votre espace de travail qui sont payants de ceux qui sont gratuits, il suffit de repérer les couleurs : bleu gratuit ; violet payant.

Je vais télécharger le projet "fahison-illustration" qui est un générateur d'images aléatoires




Une fois le projet installé dans l'espace de travail...

Cliquez pour sélectionner "Vector" (1), regardez dans l'interface (2), vous pouvez voir la liste des options disponibles (3), Allez dans la fenêtre export (4) et activez l'option "stop model after export" (5) qui permettra d'arrêter le calcul sur le pc à distance, et arrêter par la même occasion la diminution des crédits. Choisissez d'exporter sous forme d'images (Images Direcory), et sélectionnez un dossier où exporter ces images. Une fois que vous aurez cliqué sur "Run Remotely" (6) le calcul se lancer, et les crédits seront débité de 0.05$ par minute. Les images apparaitront dans la fenêtre principale (7).





Le contact avec l'ordinateur externe se met en place, le bouton "starting (click to stop)" indique que la connexion est en train de se faire. Cela ne dépense pas de crédit.





Le bouton devient rose (1) et il est encore possible d'arrêter le transfère, mais à ce stade ce serait bête car les crédit commencent à défiler. Les images apparaitront dans la fenêtre principale (2), il est possible de les enregistrer une par une en clique droit dans la fenêtre export (3), mais mieux vaut passer par le bouton export.  Le bouton "export" (4) de la fenêtre export deviendra bleu et sera cliquable. Cliquez dessus une fois, puis cliquez sur les images qui apparaissent dans la fenêtre principales (2), chaque image cliquée sera enregistrée dans le dossier que vous avez désigné à l'étape précédente. Ne restez pas trop longtemps car il me semble que les crédits descendent au fur et à mesure des clichés (à voir)




Ce projet m'aura coûté 0.05$, pour un total de 44 images, dont voici 3 images aléatoires.












Ce tuto est valable pour les projets en images aléatoires, il existe bien d'autres projets mais le principe est plus ou moins le même.

3) Les Training

Les training sont les projets aléatoires que vous pouvez mettre en place par vous même. Il s'agit en fait d'une forme de morphing élaborée.

Ils travaillent sur les images, mais aussi sur les textes. Intéressons plus aux images...

Avant de commencer, vous devez disposer d'une base de donnée d'images qui seront votre base de départ pour le morphing. Pour ma part j'ai cherché plein d'images de visages de manga. J'ai réuni 700 images, toutes recadrées à la même taille, avec le cadre du visage à peu près identique pour tous les visages. Il faut également prendre en compte l'orientation des visages et leur suite logique. C'est l'erreur que j'ai commise au départ, mes personnages étaient dans plusieurs poses, les uns après les autres, et ça a donné des résultats ... étranges. Il faut aussi veiller assortir les styles des visages. Le format à respecter il me semble est de 520x520 pixels. On peut mélanger les style, mais il faut que ce soit en harmonie avec la disposition des visages.

Dans le bon sens



Dans le mauvais sens

image étrange:

ce qui arrive quand on ne respecte pas le sens des visages:

Une fois que vous avez votre base d'images en poche (comptez au minium 500 images, et jusqu'à 3000 images, plus il y aura d'images, mieux ce sera)


En vous inscrivant vous avez obtenu un training gratuit. Il faut l'utiliser avec grande réflexion car ensuite tous les training ne seront possible que si vous souscrivez (pour un mois - 15 $ - ou un an 12 $ par mois).

Mon premier training je l'ai gâché sans m'en rendre compte, et pour continuer j'ai dû prendre un abonnement pour un mois.Bref, que mon expérience vous serve à quelque chose ^^

Une fois abonné, vous pouvez faire autant de training que vous voulez, ils sont gratuits, mais les rendus eux ne le sont pas...


On commence par sélectionner l'outil training, puis sélectionner l'image training (il est possible de faire des training sous forme de texte, mais je n'ai pas étudié le truc)





On donne un nom à son futur training, puis on y va !




Vous verrez alors plusieurs bases de données (dataset). Il s'agit de bases d'images sur lesquelles le programme va travailler pour créer des images aléatoires. La première base de donnée sur l'image (models manga) est la base de donnée que j'ai moi même créée, vous ne la trouverez donc pas dans votre espace de travail. 




Sélectionnez le dossier où vous avez déposé vos images (en cliquant sur le + bleu) et attendez que le programme fasse le calcul. ça peut être assez long, selon la taille de votre dossier et le nombre d'images.

Pour le moment, il n'y a encore rien à débourser.

Une fois votre dossier image chargé, sélectionnez le dans la liste des Datasets (il apparaitra en premier). Cliquez ensuite sur Next (j'ai changé l'image de visualisation par un dessin à moi pour des raisons de copyright).




La fenêtre suivante permet de sélectionner le type de morphing que l'on désire. StyleGan1 (1) et StyleGan2 (2). Il s'agit des images des tous premiers générateurs de ce type, la référence du training. Runway se base sur ce type d'architecture pour ses rendus. Le programme nous propose plusieurs ensembles de prè-training dont le model par défaut (3), ce sont les visages utilisés pour le site thispersondoesnotexist. Encliquant sur "change" (4) on peut choisir un autre model (chat, chien, voitures, visages, tableaux, fleurs, paysages, etc.). Le choix dépendra de votre base d'images. Si vous avez décidé de faire des paysages aléatoire, il faudra choisir en conséquence. Dés que vous aurez termné un training, il sera ajouté à votre base se pré-training et vous pourrez alors le réutilisé dans votre prochain training.

Dans la fenêtre "training steps" (5) vous pouvez choisir le nombre d'étapes que vous désirez effectuer pour votre morphing. C'est cette étape qui sera payante. Plus vous mettrez d'étapes (steps) et plus le coût du calcul sera élevé. En cliquant sur "Estimad cost" (6) vous saurez à combien s’élève le tarif. Vous pouvez également voir combien de temps le training prendre. Dans mon exemple, 3000 étapes coûtent 15$ et le calcul dura 3 heures. Il n'y a pas de frais supplémentairement en fonction du temps. Si je diminue les étapes à 100, ça indique qu'il m'en coûtera 0.5$ pour 23 minutes. Si vous cliquez sur le bouton violet (7) le prix sera déduit de votre crédit et le training commencera. Si vous n'avez pas d'abonnement et qu'il vous reste l'essai gratuit, il sera dépensé, alors réfléchissez bien avant de vous lancer. L'abonnement n'évite pas de payer à chaque calcul de training. En quelque sorte, vous louez les ordinateurs à distance.





Le nombre d'étape est important dans le morphing de vos images, des étapes peu importantes et les images de départ et les images d'arrivée seront assez similaires.


Je lance un training pour vous montrer ... j'utilise 100 steps.

Tant que cet affichage apparait vous ne déboursez rien, et vous pouvez toujours annuler le training sans que ça ne vous coûte rien.




Ensuite le training commence après un certain laps de temps plus ou moins grand.


Ensuite lorsque le training est en cours ça donne ceci (bon, là il était presque fini)




Le training est fini après 21 minutes. LE FID score correspond à la différence entre ma base de donnée (images manga) et mon pre-trained sélectionné au départ. Par exemple, si j'avais prit comme base des visages manga sur un pre-training de visages humains, le résultat aurait été plus proche de visages humains que de visages de manga. En fait c'est le nombre d'étape qui détermine un bon score de FID (le bon score étant le plus bas possible)

Bref, je clique sur Next...




Hooray ! Le training est fini (1). Une petite vidéo morphing est affichée à droite (2), il est possible d'enregistrer la vidéo (3) (c'est gratuit).
On peut également enregistrer le model (4) il sera accessible même si l'abonnement est périmé (je crois). Il sera disponible dans la liste des training complétés.



à présent voyons les options, qui sont cette fois ci payantes... On peut choisir le nombres d'images qui seront importées (5). Même si on a utilisé juste 100 steps, il est possible de créer plus d'images (mais ça a un coup). On peut regarder combien ça va coûter (6). Dans mon exemple ça me coûtera 1$. Dés que l'on clique sur "generate" (7) ce sera débité sur notre crédit.






Allons-y gaiement ...

les images sont générées dans la partie export du programme. Il faut savoir également que chaque fois que vous générez des images (à payé à chaque fois) le programme génère des images différentes.


le bouton violet indique que les images sont en train d'être créées, lorsque le bouton deviendra bleu je pourrais les télécharger (pas de frais supplémentaire, si je n'efface pas le téléchargement, je pourrais le télécharger plusieurs fois). Les images sont réunies dans un zip.




Voici le fichier zip que j'ai généré, c'est cadeau ^^


Et quelques visages du zip

Spoiler:

Spoiler:

Spoiler:

Une fois qu'on a comprit le principe, c'est un fabuleux outil, mais un peu cher... cet exemple, plutôt simple, m'aura coûté 1.5$

il m'a fallu pas mal d'essais avant d'obtenir le résultat avec de vrais visages manga. Je suis partie sur une base de dessins et d'esquisses, plutôt que sur des visages humains. Au début je mettais les étapes au plus bas mais je me suis rendu compte que ce n'était pas la solution. Plus on met d'étape et mieux le résultat est (mais plus il faut débourser...). On peut mélanger les styles pour varier les images.

exemple de mes essais

Spoiler:

Je vais essayer de faire des personnages en entier, mais il va me falloir pas mal d'images à récupérer. Je ferais peut-être avec de mes dessins (quoi que pas sure d'en avoir 500 à utiliser...)

J'espère que ce tuto vous aura plu ! J'attends vos commentaires et vos retours si vous tentez le programme.

Merci pour cette mine d'informations

C'est très étonnant ! Merci !

Voilà, tuto terminé ^^ j'ai joins les fichiers créés dans le programme pour ce tuto