Générer une vidéo avec l'IA de Gen-2 (Runway)

L'intelligence artificielle a pris ces derniers temps une importance capitale dans la création et la génération d’images, qu’elles soient fixes ou animées.

On a pu le voir avec l’IA de Midjourney ou de Dall-E par exemple.

Dans le domaine de la création de vidéos, l’IA se met également au service de la créativité en étant capable de produire des vidéos à partir d’un simple texte tapé par l’utilisateur.

Que vous soyez simple amateur, artiste, créateur de contenu pour les réseaux sociaux ou pour un site web, vous savez que la vidéo joue un rôle prépondérant dans la diffusion de l’information, de l’actualité ou encore dans le cadre de la publicité ou de la promotion d’un produit, d’une personnalité, d’une idée…

Une IA se distingue des autres par sa simplicité et son efficacité : c'est Gen-2, de l'éditeur Runway.

Cet article vous permettra de comprendre, étape par étape, comment générer simplement par vous-même des vidéos avec un rendu souvent exceptionnel sans être pour autant cinéaste ou vidéaste.

Comment créer un compte et accéder à Gen-2

Avant d’accéder à l’intelligence artificielle de Gen-2, il vous faudra créer un compte, choisir une formule d’abonnement ou opter pour la version gratuite et enfin vous connecter afin d’accéder à l’interface du générateur de vidéos.

Création de Compte

• Pour commencer, suivez ce lien : https://runwayml.com/
• En haut à droite de votre écran, cliquez sur « Sign Up- It’s free ».
  
• Vous allez ensuite entrer votre mail (ou, si vous le préférez, choisir de vous connecter avec votre compte Google ou Apple) puis on vous invitera à créer un mot de passe.
• Une fois que vous aurez créé le compte vous recevrez à l’adresse email que vous avez indiquée un code de vérification qu’il vous faudra recopier ou plus simplement copier/coller.

Données nécessaires à la création du compte : une adresse mail valide, vos nom et prénom ou votre pseudo.

Voilà, vous êtes prêt !

Les formules d’abonnement

On va vous proposer plusieurs « plans » (mensuel, annuel) pour pouvoir avoir un accès à Gen-2 sans être limité par le temps ou les possibilités.

Pour commencer et pour tester, la version gratuite est largement suffisante !

A savoir :

• Vous ne pourrez pas générer de vidéo en haute résolution et que chacune d’elle aura un « watermark » c’est à dire qu’y sera apposée le logo de la marque de Gen-2.
• Vos vidéos feront au maximum 16 secondes et vous bénéficiez en tout de 525 crédits.
• Il faut 5 crédits pour générer une vidéo de 1 seconde, les vidéos générées dans la version gratuite ont une durée de 4 secondes (vous pouvez ensuite rajouter 4 secondes).
• Vous pourrez donc générer environ 25 vidéos de 4 secondes.

Si par la suite vous vous sentez trop limité par la version gratuite, libre à vous de choisir une formule d’abonnement qui corresponde davantage à vos besoins.

Accès à Gen-2

Une fois inscrit vous avez directement accès à Gen-2 mais, si vous souhaitez y revenir plus tard, voici la marche à suivre :

suivez ce lien  https://runwayml.com/ et, cette fois-ci, cliquez sur LOG IN.:-)

Vous voici maintenant dans l’interface de Gen-2.

Vous pouvez directement commencer à vous amuser en cliquant sur l’une des deux options proposées sur le bandeau d’accueil : « start with an image » ou « start with text ».

Générer une vidéo avec Gen-2

Il y a trois principales méthodes de génération de vidéos avec Gen-2, nous allons les explorer à présent.

Génération de vidéo avec un texte

Dans la fenêtre « Text » vous allez taper votre texte, de préférence en anglais.

Pour cet exemple, prenons un texte simple et très court : "a cat ".

Cliquez ensuite sur « Generate 4s » et patientez pendant que votre vidéo est générée.

Voici le résultat :

Maintenant, deux cas se présentent :

• 1. La vidéo vous plaît, c’est le résultat que vous espériez !

Si vous êtes satisfait de votre vidéo, vous pouvez l’enregistrer en cliquant sur « upload » en haut à droite de la vidéo.

Vous pouvez également, si vous le souhaitez, rajouter 4 secondes supplémentaires à cette première vidéo.

Dans ce cas, cliquez sur « Extend 4 s » et vous obtiendrez une vidéo de 8 secondes.

La version gratuite de Gen-2 vous permettra d’aller jusqu’à une vidéo de 16 secondes maximum.

• 2. Vous n’êtes pas satisfait du résultat.

Vous aviez peut-être une idée plus précise en tête, si c’est le cas, alors retenez que plus votre texte de départ sera précis plus il y a de chances que vous vous approchiez du résultat que vous désirez.

On peut par exemple générer une nouvelle vidéo avec le texte suivant : « A black cat with a red flower ».

Et voici le résultat :

Génération de vidéo avec une image

Vous pouvez également demander à l’intelligence artificielle de générer une vidéo sans avoir à écrire de prompt (ou texte).

Pour cela, vous allez devoir télécharger une image.

Importation et choix de l'image

Après vous être assuré que vous êtes bien dans la bonne interface (IMAGE) déposez votre image soit en faisant un « upload a file » (auquel cas vous choisissez une image qui est dans votre ordinateur ou votre téléphone) soit en choisissant « select from Assets » si vous avez déjà téléchargé des images sur votre compte.

Exemples

Voici quatre exemples de vidéos de 4 secondes générées avec trois images faites grâce à l’IA de Midjourney et le tableau « American Gothic » peint par Grant Wood.

Avec ce dernier exemple, nous pouvons voir que certes, le tableau est en mouvement, mais il manque un peu de dynamisme.

Il est temps de tester la dernière des trois possibilités offertes par Gen-2, à savoir la génération de vidéo avec un texte ET une image.

Génération de vidéo avec un texte ET une image

Après vous être assuré que vous êtes bien dans la bonne interface (IMAGE + DESCRIPTION) déposez votre image et tapez votre texte.

L’IA de Gen-2 a encore du mal avec le rendu des êtres humains, si vous souhaitez générer une vidéo correcte, je vous conseille pour le moment de vous limiter à un seul personnage (l’IA évoluant très vite, ce problème sera vraisemblablement réglé rapidement).

Ainsi, si nous reprenons le tableau précédent en ajoutant le texte : « they close their eyes and they smile » voici ce que l’on obtient :

Nous constatons que les personnages sourient mais ils ne ferment pas les yeux.

Essayons maintenant avec ce portrait de Victor Hugo en ajoutant le texte « he is smiling » :

Les mains sont très étranges mais le personnage sourit et son mouvement semble naturel et fluide. 🙂

Avec un peu de patience pour les portraits, pas mal d’essais, vous finirez par trouver comment réaliser des vidéos qui vous plaisent, au début on tâtonne un peu, mais, très rapidement, on obtient des résultats impressionnants.

Conseils pour rédiger votre texte et options possibles pour personnaliser vos vidéos

Les conseils et astuces de rédaction

• Rédigez en anglais, n’hésitez pas à vous servir d’un traducteur automatique si vous ne maîtrisez pas la langue.
• Ecrivez ce que vous voulez voir dans la vidéo le plus précisément possible, c’est ce qui donne les meilleurs résultats.
• Si vous ajoutez « cinematic » ou « award winning cinematography » à la fin de votre texte vous obtenez le plus souvent un bien meilleur résultat.
  Exemples : "wheat field, award winning cinematography" et "puppies and wheat, cinematic "

• Gen-2 a encore du mal à créer des êtres humains qui ressemblent vraiment à des êtres humains, si vous souhaitez générer une image avec une personne, je vous conseille de partir d’une image de cette personne et, éventuellement, d’y ajouter du texte pour préciser ce que vous désirez.

Exemple : « smiling blonde woman with a blue hat, standing still, camera not moving, award winning cinematography »

• Gen-2 est assez efficace pour créer des paysages et en général pour les images de nature.

Astuce : vous pouvez ajouter (si c’est utile) « aerial drone shot », « aerial drone footage of » ou « underwater camera » ou encore « black and white camera footage » et même « microscopic view » à la fin de votre texte, cela donne souvent des résultats intéressants.

Exemples : "the strangest place in the world, aerial drone footage, award winning shot", "microscopic view of a mushroom, award winning shot", "jellyfish in the sea, underwater camera " et "Streets of an abandoned floral city, cinematic footage".

• Vous trouverez sur la chaîne Youtube de Runway quelques tutos en anglais pour approfondir vos connaissances.

Les options de personnalisation

Maintenant que vous avez compris comment générer simplement et facilement une vidéo, intéressons-nous pour finir aux manières de personnaliser un peu plus votre expérience.

Il existe principalement trois manières de le faire :

• A Jouer sur la vitesse
• B Jouer sur le mouvement de caméra
• C Appliquer un style (accessible uniquement avec la version Texte)

Ces trois possibilités sont accessibles à partir des sous-menus qui se trouvent en bas à gauche de la fenêtre dans laquelle vous placez votre texte.

Vous pouvez accélérer ou ralentir le défilement des images en jouant avec la vitesse (A), la vitesse par défaut est cependant dans la plupart des cas la meilleure, mais vous pouvez vous amuser à tester.

Exemples pratiques :

Reprenons un texte que nous avons déjà utilisé : « A black cat with a red flower » et appliquons lui un effet de zoom et un style « claymation » :

Voici le même prompt, avec le même effet de zoom mais avec le style « 3D Cartoon » :

Toujours le même prompt, sans effet de zoom mais cette fois avec un mouvement panoramique vers la droite, avec le style « Graphic Novel» :

Pour terminer, toujours le même texte, avec un effet de Roll vers la gauche avec le style « Sci-fi art» :

Conclusion

Comme nous l’avons vu, il est facile de générer rapidement des vidéos avec l’intelligence artificielle de Gen-2, il est même probable que d’ici très peu de temps les résultats seront encore plus spectaculaires.

Maintenant, c'est à vous de jouer !