Table des matières
Présentation de l'IA DupDub
Plutôt qu'une IA, DupDub est une boîte à outils "tout-en-un" de fonctionnalités IA existantes, empruntées à ChatGPT, probablement ElevenLabs ou une autre IA de synthèse vocale, une IA qui anime des photos en accord avec une voix audio, etc.
Ce regroupement de fonctionnalités permet de créer divers types de contenus sans s'éparpiller dans différents abonnements qu'on sous-utiliserait : un seul forfait DupDub suffit.
Voyons maintenant de plus près ces fonctionnalités.
Fonctionnalités de DupDub
Génération de texte
Rédaction par IA (basée sur ChatGPT)
ChatGPT est un LLM (modèle de langage) généraliste et non spécialisé.
DupDub s'en sert pour préconfigurer des prompts et l'adapter à des usages spécifiques en rédaction :
- articles
- fiches-produit
- posts de réseaux sociaux
- textes publicitaires
- script de vidéo ou de podcast
- cours et tutoriels
- histoires, récits
Plus flexible que ChatGPT, le rédacteur de DupDub permet de sélectionner une phrase, un paragraphe ou un texte, et de le réécrire de diverses manières :
- rallonger
- raccourcir
- prolonger, continuer
- changer le ton ou le style (plus pro, plus drôle, plus familier etc)
Un aperçu de l'interface de génération de texte :
Sous-titrage de vidéos
Vous pouvez donner à DupDub une vidéo dans une langue donnée (parmi une liste de 50 langues très parlées), et la faire sous-titrer automatiquement en 130 langues.
Pour cela, DupDub mobilise les capacités speech-to-text d'une IA.
Vous pouvez donc traduire par exemple votre vidéo tournée en français, en anglais, espagnol, allemand, arabe, etc.
Vous pouvez exporter vos sous-titres au format .srt.
Transcription de vidéo et d'audio
Quand vous avez réalisé une vidéo parlante ou un audio vocal, vous pouvez vouloir exploiter son contenu également sous forme de texte écrit.
Avec DupDub, rien de plus facile : vous téléchargez votre fichier, par exemple en .mp4 ou .mp3, ou donnez son url (y compris Youtube, TikTok, Facebook, Instagram ou autre) et l'outil transcrit la partie parlée dans votre langue. Si besoin, vous pouvez ensuite traduire ce texte.
Vous pouvez ainsi transcrire vos réunions, appels téléphoniques, podcasts, discours et conférences, par exemple pour les publier sur un site web ou dans une description.
(Si vous avez des besoins de transcription plus sophistiquées, essayez Notta.)
Edition vidéo
Création d'avatar parlant
Vous pouvez fournir à DupDub une image - une photo, ou aussi bien une illustration dans n'importe quel style graphique - et un texte à lui faire prononcer, et DupDub créera pour vous un avatar parlant, ayant cette apparence, et prononçant votre texte avec un effet de synchronisation labiale. A la place du texte, vous pouvez aussi lui fournir un audio, par exemple avec votre voix.
Un tel avatar peut servir par exemple à accueillir vos visiteurs sur la page d'accueil de votre site web, ou sur une autre landing page.
Là aussi, la fonctionnalité est multilingue et marche dans 40 langues, dont les principales langues européennes.
Mieux encore : cet avatar peut aussi fonctionner grâce à une API, ce qui signifie que vous pouvez lui envoyer du texte tapé par un de vos visiteurs, puis faire générer la réponse en texte et la faire prononcer par votre avatar : idéal donc pour un chatbot interactif.
Elle est aussi dispo en version app, sur Google Play et sur l'App Store d'Apple.
Un exemple d'avatar parlant :
Intéressé-e par les avatars ? Voir notre article sur les IA de création d'avatar.
Traduction et doublage automatique de vidéo
Le principe est simple : vous fournissez à DupDub votre vidéo dans une langue donnée, et l'IA la traduit dans une langue cible, en clonant la voix ou en la synthétisant, et en maintenant à peu près la synchronisation vocale.
Pour ce faire, DupDub met à votre disposition :
- plus de 500 voix réalistes
- 70 langues et accents nationaux ou régionaux (notamment les accents français belge, suisse ou québécois)
Ce n'est pas précisé, mais je pense que DupDub utilise les services de l'excellente IA de synthèse audio ElevenLabs.
Vous vous intéressez à la synthèse vocale ? Lisez notre article à propos d'ElevenLabs, notamment sa fonctionnalité de clonage vocal.
Capture et édition vidéo
Dans ce domaine aussi DupDub apparait comme une boîte à outils multifonctions, qui propose :
- de simplifier la capture de vidéo et d'audio, en enregistrant l'image de votre écran ou de votre caméra, et l'audio de votre micro
- de faciliter l'édition et le montage, en séparant les pistes vidéo et audio et permettant les coupes, les effets de transition, et l'insertion de textes dans divers styles paramétrables
Audio
Synthèse vocale (text-to-speech)
DupDub intègre des fonctionnalités text-to-speech, c'est-à-dire de synthèse vocale : vous lui fournissez un texte et l'IA vous le convertit en parole, dans la langue et le style vocal de votre choix.
500 voix synthétiques sont disponibles, dans les principales langues du monde, quasiment toutes les langues européennes mais aussi les grandes langues du monde - chinois, hindi, arabe, philippin, coréen, thaï, vietnamien etc.
A ces voix, vous pouvez attribuer des tons et des émotions : joie, colère, excitation, tristesse, hurlements ou murmures, etc.
Des fonctionnalités d'édition vous permettent aussi de régler le rythme, les silences, la prononciation de certains mots inhabituels.
Enfin, vous pouvez exporter vos textes parlés sous forme de fichiers .wav, .mp3, et même en vidéo .mp4 avec sous-titres en .srt.
Clonage de voix
Le clonage vocal est également proposé, qui vous permet de faire prononcer des textes par une voix samplée dont vous lui donnez des enregistrements que l'IA imite.
Il est dispo en 29 langues et existe aussi dans une version plus sophistiquée, "clonage pro".
Conclusion
Voilà, j'ai terminé ce passage en revue des fonctionnalités de DupDub, je vous laisse la tester gratuitement - pour cela il suffit de vous créer un compte avec votre email ou un compte Google ou Facebook, et vous aurez droit à 10 crédits gratuits.
