Table des matières
Gen-3 : des vidéos réalistes, fluides, une qualité exceptionnelle et un contrôle plus marqué
Gen-3 pour qui, et pour quoi faire ?
Gen-3 est une IA vidéo qui permet de générer des vidéos :
- A partir d'un texte : text to video
- A partir d'une image : image to video
- A partir d'une vidéo : video to video
Runway n'est pas un nouveau venu dans le domaine de l'IA, sa version précédente, Gen-2, était déjà innovante et particulièrement efficace, Runway joue encore dans la cour des grands et son IA vidéo fait partie des trois ou quatre meilleures avec Kling, Luma ou le dernier venu Hailuo.
Que vous soyez un simple amateur ou un professionnel, si vous souhaitez générer de courtes vidéos (ou de plus longues si vous faites du montage) avec une qualité exceptionnelle, une interface intuitive, et une utilisation assez simple, alors vous allez l'adorer !
Vous pourrez notamment l'utiliser pour :
- des vidéos avec effet waouh garanti pour vos présentations, vos réseaux sociaux
- des publicités pour un produit, un lieu, un événement
- des animations, dessins animés, courts métrages, clips vidéos...
Les différentes versions
Si vous vous intéressez à la deuxième version, Gen-2, vous pouvez consulter notre tutoriel dédié.
Gen-3 est actuellement disponible en deux versions : Alpha et Turbo.
Voici un petit tableau récapitulatif pour comparer ces deux versions :
| Gen-3 Alpha | Gen-3 Alpha Turbo | |
|---|---|---|
| Coût | 10 credits par seconde | 5 credits par seconde |
| Références de départ possibles | Texte Image Vidéo | Image Vidéo |
| Formats vidéo | 1280 x 768 | 1280 x 768 768 x 1280 |
Créer un compte et choisir un abonnement ou tester gratuitement
A l'heure actuelle, la version gratuite est particulièrement bridée, et, pour utiliser Gen-3 qui est la fonctionnalité la plus intéressante il vous faudra assez rapidement choisir entre plusieurs formules payantes dont vous trouverez le détail ici.
Mon constat c'est que les crédits filent à une vitesse faramineuse !
Ce tuto est là pour vous aider à savoir si vous avez envie de tester, ou pas 🙂
Le reste de ce tutoriel est au format vidéo, vous pouvez sélectionner directement les parties qui vous intéressent dans le sommaire suivant ou, si vous le préférez, regarder le tuto en entier en fin d'article.
Image to video : tutoriel complet en 4 étapes
Etape un : uploader l'image de référence
Il suffit d'aller chercher sur son ordinateur une image qu'on aura préparée au préalable ou d'aller chercher parmi les images qu'on aurait déjà générées avec Runway si on a utilisé l'outil de création d'image.
Attention : Gen-3 génère OBLIGATOIREMENT des vidéos au format 16:9 ou 9:16, si votre image de référence n'a pas le bon format, pas de panique, Runway vous propose de la redimensionner mais il peut être utile d'y penser en amont.
Etape deux : rédiger le prompt (ou pas)
En mode image to video il n'est pas nécessaire de rédiger un prompt.
Etape trois : configurer les réglages de Camera Control
C'est la dernière nouveauté de Gen-3 et elle est assez impressionnante car elle vous permet un contrôle bien plus important sur les mouvements de la caméra.
Son utilisation est intuitive et très "user friendly".
Etape quatre : générer la vidéo, la prolonger, la télécharger
Comme pour la plupart des IA vidéo, une fois votre vidéo générée, vous pouvez choisir de la prolonger en cliquant sur "Extend", ou de la télécharger("download"), tenter le "LipSync", la spécificité de Gen-3 c'est que vous pouvez également utiliser cette vidéo comme vidéo de référence pour le "video to video".
Afin de rendre les explications précédentes plus simples, le tutoriel détaillé avec trois exemples se trouve précisément calé dans la vidéo suivante :
Text to video : tutoriel complet en 3 étapes
Etape un : rédiger le prompt
Pour le text-to-video, il est évidemment indispensable et obligatoire de rédiger un prompt !
Etape deux : configurer les réglages
Ce sont les mêmes que pour l'Image To Video et ils varient en fonction du modèle choisi (Alpha ou Alpha Turbo).
Comme il n'y a pas d'image de départ, on ne peut pas utiliser le Camera Control, on peut cependant utiliser les "presets" ou indiquer soi-même manuellement les mouvements que l'on souhaite que la caméra effectue.
Etape trois : générer la vidéo, la prolonger, la télécharger
Là encore, comme pour l'Image To Video, on peut réaliser un "extend", télécharger la vidéo, l'utiliser comme vidéo de référence.
Afin de rendre les explications plus simples, le tutoriel détaillé avec deux exemples se trouve précisément calé dans la vidéo suivante.
Le guide du prompt et le lien vers le ChatGPT dédié à Gen-3 se trouvent à la fin de cet article.
Video to video : tutoriel complet en 4 étapes
Etape un : uploader la vidéo de référence
Vous pouvez choisir une vidéo personnelle mais aussi une vidéo parmi celles que vous avez générées avec Gen-3. Il ne faudra pas excéder 30 secondes.
Etape deux : rédiger le prompt
Cette étape est totalement facultative et, à mon avis, ne sert pas à grand chose puisque globalement le video to video consiste à appliquer un filtre (cartoon, 3d, steampunk, etc) mais il est possible d'influencer le rendu en demandant par exemple un changement d'arrière-plan. C'est risqué, mais pas impossible 🙂
Etape trois : configurer les réglages
Il faudra sélectionner tout simplement, parmi les styles proposés, celui que vous avez envie de tester !
Etape quatre : générer la vidéo, la télécharger
Si vous êtes satisfait de la vidéo générée vous pouvez la télécharger, si ce n'est pas le cas vous retrouvez les possibilités habituelles : étendre ou recommencer !
Afin de rendre les explications plus simples, le tutoriel détaillé avec deux exemples se trouve précisément calé dans la vidéo qui suit :
Runway Act one : tutoriel complet en 3 étapes
Etape un : uploader la vidéo de référence
Les conseils de Runway sont de vous enregistrer avec un fond uni, de bien articuler, et de faire peu de grands mouvements. J'ai testé pour vous, ça n'est pas encore au point 🙂
Etape deux : sélectionner ou uploader votre personnage
Runway propose des personnages prédéfinis mais vous avez la possibilité d'importer vos propres images.
Etape trois : générer la vidéo, la télécharger
Le processus complet avec un exemple se trouve précisément calé dans la vidéo suivante, je vous invite à faire des essais, à tester, selon moi ça n'est pas encore au point mais ça reste très prometteur :
Générer du morphing avec Gen-3
Parmi les outils de Runway (ils sont nombreux) je me suis intéressée au "Frame interpolation" qui permet rapidement et simplement de générer une vidéo de morphing.
Les étapes sont simples :
- Uploader de 2 à 10 images (ou plus)
- cliquer sur "Generate"
Comme pour tout morphing, vous prendrez soin de sélectionner des images dont la structure est semblable ou très proche pour éviter que l'IA "hallucine".
Exemples de ratés et de réussites
Afin de vous puissiez vous faire une idée relativement objective des possibilités de Gen-3 je vous présente mes réalisations, mes échecs comme mes réussites :
Mon avis sur Gen-3
Les points négatifs
- Le text to vidéo n'est pas formidable, je ne suis pas séduite par ce qui est généré, c'est assez plat, ça hallucine pas mal, l'IA invente des pieds et des doigts en plus, bref, je ne suis pas convaincue.
- Pour le moment, Act One est assez décevant, mais il est probable qu'on soit très proche d'une avancée assez folle donc pour le moment, je suis sur la réserve mais je ne doute pas des progrès fort probables, on n'en est qu'aux débuts, Gen-3 étant toujours en version Alpha.
- Il y a encore quelques bugs, il faut pas mal d'essais avant d'obtenir un résultat convenable, mais là encore, on est en version Alpha.
Les points positifs
- Gen-3 est véritablement une IA compétitive, assez simple d'utilisation, très rapide (surtout en mode turbo, évidemment).
- Le mode Image To Video est excellent, le rendu vidéo est d'une qualité assez incroyable.
- Le Camera Control change totalement la donne et ouvre des perspectives formidables pour ceux qui souhaitent jouer avec les mouvements de caméra et le tout d'une manière assez simple et particulièrement intuitive.
Globalement, Gen-3 est une excellente IA vidéo, il y a fort à parier que c'est avec Kling, Luma, Sora et Hailuo le futur de la génération de petits films et, très prochainement, de longs métrages de qualité professionnelle.
Liens et infos utiles
Le ChatGpt dédié à la génération de prompts pour Gen-3
Le prompt que j'ai utilisé dans ma vidéo pour générer des prompts :
give me some fun ideas for a text to video generator with hyperlapse; it should be fun and crazy and poetic. Check the info about prompting from this website : https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide
