Table des matières
Une intelligence artificielle générative en vidéo
Qu'est-ce que la Dream Machine de Luma AI ?
La Dream Machine de Luma AI est l'une des dernières arrivées dans l'univers des IA génératives de vidéo, univers dans lequel gravitent HeyGen, Krea, Kling, Warp, Immersity, Fliki...
Luma génère des vidéos de 5 secondes (ou plus, si on choisit de les prolonger) à partir d'un texte (le prompt) et/ou d'une image selon les deux principes suivants :
- text-to-video : le texte que vous écrivez génère une vidéo
- image-to-video : l'image que vous uploadez génère une vidéo.
A qui s'adresse Luma AI et que peut-on faire avec ?
Particulièrement simple d'utilisation, elle s'adresse aussi bien aux professionnels de l'image qu'aux débutants.
Vous pouvez, sans aucune expérience, réaliser de courtes vidéos spectaculaires et de très bonne qualité afin d'animer vos réseaux sociaux ou votre site web ou pour mettre en avant de manière originale des produits, des photos, des images fortes etc.
Luma se distingue par :
- La qualité exceptionnelle de ses vidéos, leur hyper réalisme et leur qualité cinématographique
- Son extrême simplicité d'utilisation
- La possibilité de faire un loop (la vidéo boucle à l'infini).
Il existe plusieurs formules d'abonnement, dans ce guide de Luma nous utiliserons uniquement la version gratuite qui, à ce jour, offre deux générations quotidiennes.
J'ai constaté que le text to video n'était pas toujours formidable, d'autres IA comme celle de Runway sont nettement plus performantes, aussi ai-je décidé de m'intéresser dans ce tutoriel exclusivement aux vidéos générées à partir d'une image.
Les nouveautés de la version 1.5
Bonne nouvelle, la Dream Machine de Luma vient de passer en version 1.5 !
Voici les caractéristiques principales de cette dernière version :
- rendu plus fluide et plus rapide
- amélioration de la qualité visuelle
- haute définition
- meilleur respect de la cohérence des personnages
- photo réalisme encore plus poussé
- possibilité d'avoir des idées de prompt générées au hasard
- possibilité de faire du morphing de haute qualité
- meilleure compréhension des instructions textuelles (mais pas encore parfaite)
Vidéo de démonstration (à voir !!)
Afin de vous donner une idée de ce qu'il est possible de réaliser avec cette IA voici une vidéo qui reprend la plupart de mes tests :
Tutoriel vidéo
Dans cette vidéo vous retrouverez une présentation de l'interface de Luma ainsi qu'un petit tutoriel pour générer un petit film en utilisant la technique du morphing (vous retrouverez le tutoriel détaillé en dernière partie de cet article).
Tutoriel Luma AI étape par étape
Pour pouvoir utiliser Luma, il vous faut au préalable créer un compte avec votre adresse gmail (compte Google), vous y serez invité dès que vous cliquerez sur "TRY NOW" sur la page d'accueil.
Afin de faciliter la compréhension des étapes suivantes, je vous ai créé un résumé visuel :
Première étape : sélectionner une image et l'uploader
Avant d'uploader l'image, vous aurez réfléchi au préalable à ce que vous souhaitez créer.
Pour ce tutoriel, j'ai principalement choisi des images générées avec Midjourney mais vous pouvez aussi animer des images faites par une autre IA comme Leonardo ou Ideogram ou même à partir de photos personnelles, memes, tableaux, illustrations diverses, etc.
Une fois votre image choisie, vous allez l'uploader en cliquant sur l'icone image (en bas à gauche de la zone de prompt) et elle va ensuite s'afficher en haut à gauche de cette même zone.
Si vous le souhaitez, vous pouvez uploader une nouvelle image qui sera l'image de fin (end frame) : dans ce cas, Luma va générer une vidéo de 5 secondes qui commencera par votre première image et finira par la seconde.
Deuxième étape facultative : rédiger le prompt
Comme pour l'immense majorité des IA, il est conseillé de rédiger votre texte en anglais : décrivez de la manière la plus simple ce que vous souhaitez voir dans votre vidéo (mouvement des personnages, mouvements de la caméra, cadre, expressions faciales, etc.).
Important : il n'est pas du tout nécessaire de rédiger un prompt ! Sauf si vous souhaitez un mouvement ou une expression spécifiques, vous pouvez laisser la zone de prompt vide, Luma s'en sort très bien avec simplement une image de départ !
Troisième étape : activer (ou non) les deux options et générer la vidéo
En bas à droite de la zone de prompt vous trouverez deux cases que vous pouvez choisir d'activer en les cochant :
- Loop : si vous cochez cette case Luma va générer une boucle (loop) et la première image de votre vidéo sera identique à la dernière
- Enhance prompt : cochez cette option si vous souhaitez laisser l'IA améliorer votre prompt, laissez-la décochée si vous n'avez pas rédigé de prompt.
Et c'est déjà fini ! Il ne vous reste plus qu'à cliquer sur la petite flèche orientée vers le haut pour que votre vidéo se génère.
Voici par exemple ce que l'on obtient à partir d'une image de lapin (générée sur Midjourney), sans prompt, avec l'option loop activée :
Quatrième étape : télécharger la vidéo et/ou la prolonger de 5 secondes
Une fois votre vidéo générée vous pouvez voir juste en-dessous deux possibilités :
- Extend : vous permet de générer 5 secondes de plus (l'IA va générer une nouvelle vidéo à partir de la dernière image de votre vidéo)
- Download : pour télécharger votre vidéo, par exemple au format .mp4
Exemples de génération de vidéo
A partir d'une photo
Pour cette vidéo j'ai simplement uploadé une photo d'André Breton, je n'ai pas tapé de prompt et j'ai activé l'option loop.
A partir d'un meme
J'ai voulu voir ce que donnerait le meme de la petite fille pyromane, une fois encore je n'ai pas tapé de prompt et je n'ai activé aucune des deux options.
Utilisation d'Extend pour une vidéo de dix secondes
J'ai tout d'abord généré une première vidéo de 5 secondes, sans prompt et sans loop à partir d'une image générée par Midjourney.
Ensuite, j'ai demandé une prolongation de la vidéo de 5 secondes en cliquant sur Extend et, cette fois, j'ai coché la case "loop".
Utilisation du prompt et d'Extend pour une vidéo de quinze secondes
J'ai tout d'abord généré une première vidéo sans prompt et sans loop à partir de l'image d'un "bus poisson" (image générée avec l'IA de Midjourney).
Ensuite, j'ai demandé une prolongation de la vidéo de 5 secondes en cliquant sur Extend et en tapant le prompt suivant :
the bus moves away and disappears
Une fois ma vidéo de dix secondes générée, j'ai répété l'opération précédente (Extend et même prompt) et j'ai obtenu cette petite animation bien sympathique !
La technique du morphing, pour créer des vidéos au rendu spectaculaire
Etape 1 : générer au moins 3 images
A l'aide de votre IA préférée (Midjourney, Leonardo, Ideogram...) ou à partir de vos images personnelles, trouvez au moins trois images qui vont servir de base au morphing.
Mes conseils :
- Pensez à numéroter vos images, ça vous fera gagner du temps !
- Choisissez des images dont la structure, la forme sont relativement proches. Si ce qui est représenté sur votre première image est trop éloigné de ce qui figure sur la seconde, la transition générée par l'IA risque d'être un peu trop étrange 🙂
- Pour débuter, le plus simple est de choisir une série de portraits, par exemple.
- Pour la fluidité, je vous conseille également de choisir des images dans des tons, styles et couleurs similaires.
Etape 2 : Uploader les images
Pour votre première petite vidéo, vous allez uploader les images 1 et 2 (si vous les avez numérotées comme je vous l'ai conseillé, sinon improvisez !) :
- La première image de votre vidéo sera l'image 1.
- La dernière image de votre vidéo sera l'image 2.
Etape 3 : Rédigez (ou pas) votre prompt
Vous pouvez ne pas rédiger de prompt, je vous conseille le simple prompt suivant : "transition".
Activez "Enhance Prompt".
Vérifiez que l'option "Loop" est désactivée.
Générez ! (et patientez !)
Etape 4 : recommencez les étapes deux et trois
Dans le but de créer une petite vidéo de 15 secondes avec du morphing, vous allez procéder ainsi si à la. première étape vous avez choisi 3 images :
- vidéo 1 : image 1 et image 2
- vidéo 2 : image 2 et image 3
- vidéo 3 : image 3 et... image 1 !
La dernière image de chaque vidéo est la première image de la suivante, ainsi, quand vous les mettrez bout à bout, la transition sera fluide et vous obtiendrez un morphing parfait !
Etape 5 : montage
Une fois vos trois vidéos obtenues, il ne vous reste plus qu'à en faire un mini film en les mettant bout à bout sur un logiciel de montage vidéo et vous obtiendrez une vidéo de 15 secondes qui loope parfaitement.
Bien sûr, vous pouvez utiliser cette technique avec plus d'images, dans le tutoriel vidéo j'en ai utilisé 7 pour faire un morphing de 35 secondes.
Voici un autre exemple, également généré à partir de 7 images de fleurs étranges :
Conclusion
Je suis totalement sous le charme de cette IA, je l'ai testée pendant plus d'un mois, chaque vidéo était une petite pépite et il y a eu très peu de ratés.
Cela dit, je regrette que Luma soit victime de son succès : il faut parfois attendre extrêmement longtemps (de quelques minutes à plusieurs heures pour la version gratuite) avant de voir le résultat, c'est extrêmement frustrant.
Luma nous promet un accès prioritaire (donc un gain de temps) dans sa version payante, j'imagine que c'est une incitation à s'abonner, et je peux le comprendre, les résultats sont globalement excellents !
