Comment cloner sa voix avec l'IA d'Eleven Labs | Tuto, démo et exemples de voix clonées

ElevenLabs, leader du clonage de voix par IA

A l'heure actuelle, le leader en matière de clonage de voix est l'entreprise ElevenLabs, un peu le Nvidia de la voice tech si on veut parler comme sur Reddit.

Spécialisée dans la synthèse vocale et les voix off générées par IA, ElevenLabs propose des services :

• de text-to-speech : une voix synthétique ou clonée interprète des textes, comme une sorte de comédien de doublage numérique
• de speech-to-speech : un enregistrement vocal est transformé en une autre voix, permettant à une voix de femme de jouer une voix d'homme, ou à une voix d'adulte de jouer une voix d'enfant ou d'adolescent ; ou encore de transformer une voix naturelle en une voix synthétique (clonage vocal), avec des résultats parfois bluffants façon "voix de Morgan Freeman" ou "timbre à la Dark Vador" (sans que ce soit eux hein)

Visiter le site d'ElevenLabs

Définition du clonage vocal : c'est quoi et ça sert à quoi ?

Le clonage vocal est l'imitation de la voix humaine par une IA, autrement dit une reproduction algorithmique du timbre, du grain, du rythme, de la prosodie, bref tout ce qui fait qu’on reconnaît une voix au téléphone.

On fournit à l'IA des enregistrements d'une voix, et l'IA en fait une version synthétique qu'on peut ensuite utiliser à l'infini. Cette copie peut ensuite être utilisée pour générer du texte parlé qui semble provenir de la personne originale, comme si c’était elle qui lisait un script de voix off, un poème slam ou un tuto YouTube.

Le clonage de voix par ElevenLabs

ElevenLabs propose deux types de clonage de voix :

• le clonage rapide
• le clonage pro

Voyons cela de plus près, façon petit benchmark maison.

Le clonage vocal rapide

La fonctionnalité "Instant Voice Cloning", ou clonage de voix instantané, permet d'obtenir rapidement une copie de voix avec fort peu de contraintes : il suffit de fournir un enregistrement audio d'une seule voix, sans bruit de fond, et d'une durée d'au moins une minute. C’est vraiment du plug and play pour créateur pressé.

Voici un exemple de clonage vocal rapide.

Voici ma voix d'origine :

Et voici un texte lu par ma voix clonée sur la base du même type d'enregistrement audio basique, sur téléphone, pas de matos de studio, rien :

Les voix clonées sont éditables. On peut en effet faire jouer plusieurs paramètres :

• la stabilité (un peu l’équivalent de la régularité de la diction)
• la similarité
• l'exagération du style

Il faut tâtonner un peu avec ces paramètres pour entendre la différence, difficile à décrire, mais sensible : quand on pousse trop un réglage loin de la valeur par défaut, on aboutit assez vite à une voix incohérente et désagréable, limite uncanny valley version audio.

Voici un exemple de ma voix clonée, exactement la même que ci-dessus, mais avec des réglages différents : on entend bien de petites différences, de micro-variations dans la prosodie qui, pour une oreille de comédien voix, sautent tout de suite aux oreilles.

Le clonage de voix pro

La procédure pour créer une voix clonée de qualité professionnelle avec ElevenLabs est beaucoup plus exigeante, ce qui est logique si on vise un rendu broadcast, pub radio ou narration façon livre audio Audible.

Enregistrements de haute qualité

D'abord, il faut fournir des enregistrements beaucoup plus longs et de bien meilleure qualité.

La doc d'ElevenLabs recommande de :

• fournir en tout au moins 30 minutes, et si possible 3h ou plus, d'enregistrements audios de la même voix
• enregistrer en studio
• éliminer tout bruit de fond ou écho
• utiliser un micro professionnel
• etc

Bref, meilleure est la qualité des enregistrements, meilleure sera la voix clonée ; c’est de la capture de données brutes, comme pour entraîner un modèle de machine learning, on ne fait pas de miracle avec du son pourri.

Authentification de la voix

Le clonage vocal pro ajoute aussi une contrainte importante : il faut authentifier sa voix, en lisant un texte que fournit l'IA à la fin de la procédure. Cette protection sert évidemment à empêcher le "vol de voix", un nouveau délit qui repose sur le fait que le droit considère la voix comme une donnée personnelle.

Donc oubliez l'idée d'aller cloner la voix de chanteurs / chanteuses, acteurs et actrices (ou doubleurs / doubleuses) célèbres aux voix reconnaissables, genre la diction d’un Jacques Audiard, la tonalité d’une Emma Stone ou le timbre de Bruce Willis : ElevenLabs ne vous laisserait pas faire et en plus vous prendriez un risque pénal. ElevenLabs fournit justement une belle collection de voix humaines professionnelles, vous avez amplement le choix !

Tests

Pour tester, je n'ai pas pu enregistrer dans des conditions professionnelles ; je me suis donc contenté de fournir à l'IA environ 30 minutes de mes audios Whatsapp, enregistrements dans lesquels je parle de manière spontanée, improvisée, naturelle, avec une intonation typique de ce style de parole très oral, presque comme un vocal Discord.

Il est important de comprendre que le clonage de voix va garder le style vocal d'origine, et qu'il n'y a donc pas de clone universel. Pas de preset magique "voix de narrateur BBC" si à la base vous avez enregistré en mode pote au téléphone.

Comme j'ai fourni des enregistrements au caractère très oral, ma voix clonée ne peut bien se prêter qu'à dire des textes du même type, dans le même style, wech gros, et pas des textes très écrits. A mon avis c’est une bonne chose : ça force à penser la direction d’acteur en amont, même quand l’acteur est… synthétique.

Voilà ce que ça donne si j'essaye de faire lire à ma voix clonée très orale un texte de littérature, en l'occurrence une des Illuminations d'Arthur Rimbaud - on entend tout de suite que ça ne colle pas du tout : l’attaque des phrases, la courbe mélodique, rien ne va.

Donc, si l'objectif de ma voix clonée avait été de lire synthétiquement Les Illuminations en entier, j'aurais d'abord dû enregistrer au moins 30 minutes de texte dans ce style pour faire une voix clonée de type "lecture littéraire", plus proche d’un comédien de la Comédie-Française que d’un streameur Twitch.

De la même manière, si vous souhaitez créer une voix publicitaire, érotique, ludique, émotionnelle, fictionnelle - la voix d'un personnage avec une personnalité particulière, un ton - vous devez créer une voix spécifiquement dans ce style, basée sur des enregistrements dans ce style. L'IA ne va pas d'elle-même comprendre que tel texte a un caractère publicitaire, érotique ou ludique, et adapter son interprétation comme le ferait une personne humaine. On n’est pas dans la direction d’acteurs de cinéma, on est dans du paramétrage de moteur de synthèse.

Tests des paramètres de la voix clonée

Voici maintenant quelques tests pour vous montrer comment les paramètres influent sur le rendu des voix :

 Voix clonée avec réglages par défaut :

 Voix clonée avec "stability" à 30% :

 Voix clonée avec "stability" à 90% :

 Voix clonée avec "similarity" à 30% :

 Voix clonée avec "similarity" à 30% :

 Voix clonée avec "style exaggeration" à 25% :

 Voix clonée avec "style exaggeration" à 50% :

Bref, comme vous le constatez ces réglages génèrent des variantes vocales assez subtiles qu'il faut passer du temps à maîtriser ; c’est un peu l’équivalent audio de retoucher ses presets Lightroom pendant des heures.

Les usages du clonage vocal

La technologie de la synthèse vocale à partir d'un modèle humain trouve des usages de divers types, de la simple voix off IA jusqu’au doublage multilingue avancé :

Web

Un site web entier peut être lu à haute voix par une IA reproduisant la voix de son auteur, d'une personne identifiable - le PDG, les cadres de l'entreprise... - ou celle d'un acteur ou d'une actrice. Pour le SEO et l’accessibilité, c’est plutôt un gros win, disons-le.

Assistance personnelle

Des voix clonées peuvent servir à personnaliser les réponses dans des applications d'assistants vocaux, offrant une expérience plus familière et engageante.

La technologie trouve même un débouché dans les centres d'appels (call center) et autres réceptions, qui peuvent être automatisés tout ou partie avec divers types d'agent vocal IA : réceptionniste, agent SDR, agent superviseur, etc. On passe doucement du SVI old school au véritable agent conversationnel avec voix naturelle.

Industrie du divertissement

Au cinéma, à la télévision et dans les jeux vidéo, le clonage vocal permet aux créateurs d'utiliser à volonté la voix d'un acteur ou d'une actrice pour différents projets, réduisant considérablement le coût d'enregistrement. On parle déjà de continuité de voix pour des sagas, même si la personne vieillit ou arrête le métier.

Les voix clonées peuvent aussi servir à faire du doublage, même si dans le cas d'ElevenLabs, il est conseillé de faire prononcer aux voix clonées des textes dans la même langue que les enregistrements d'origine. Les puristes de la VF (les fans de la "voix française de") vont probablement continuer à surveiller ça de près.

Audio livres et podcasts

Les éditeurs peuvent utiliser le clonage vocal pour produire des livres audio ou des podcasts dans la voix de l'auteur ou d'autres voix célèbres (avec leur accord évidemment), même si ces personnes ne sont pas disponibles pour les enregistrements. Pour un auteur timide ou débordé, c’est franchement pratique ; pour une saga de SF lue par une même "voix narratrice" sur 20 ans, aussi.

Services de communication pour les personnes handicapées

Pour les personnes incapables de parler, le clonage vocal peut permettre de communiquer en utilisant une voix qui ressemble à leur voix naturelle, avant qu'elles ne perdent leur capacité à parler. C’est un des cas d’usage les plus touchants, qui me fait penser aux outils créés pour Stephen Hawking, mais en version beaucoup plus personnalisable.

Publicité

Les entreprises peuvent utiliser - évidemment avec l'accord des personnes concernées - des voix clonées de célébrités ou de personnages reconnus pour rendre leurs messages publicitaires plus attrayants et personnalisés. En gros, du brand content avec une signature vocale forte, ce qu’on appelle aussi l’identité sonore ou audio branding.

FAQ

Est-ce-légal de cloner une voix qui ne m'appartient pas ?

Non, clairement non. La voix est une donnée personnelle. La cloner revient à commettre un vol et une usurpation d'identité, un peu comme piquer un visage pour un deepfake mais en version audio.

On peut néanmoins vendre et acheter une voix, dès lors qu'il existe un contrat et une autorisation d'exploitation d'une voix sous forme de voix clonée.

Eleven Labs permet-il de modifier l’intonation ou l’émotion de la voix clonée ?

Oui, il est possible de choisir des "tons". Cependant, s'il y a une forte différence entre les enregistrements donnés en exemple, et le ton choisi, le résultat sera de mauvaise qualité. On ne fera pas de 30 minutes de voix monotone et dépressive une voix clonée enjouée et expressive. Pour avoir une vraie palette émotionnelle, il faut des données sources jouées avec différentes intentions, comme en direction d’acteur classique.

Quelles sont les alternatives à Eleven Labs pour le clonage de voix ?

Pour l'instant, ElevenLabs est leader du marché. Un certain nombre de concurrents apparents... n'en sont pas, vu qu'ils se contentent de revendre les services d'ElevenLabs sous marque blanche.

J'ai testé de nombreux générateurs de voix gratuits en ligne et je peux vous dire qu'en moyenne les résultats sont loin de la qualité d'ElevenLabs. Les artefacts, la prosodie robotique, tout ça, on les repère vite.

Les concurrents les plus crédibles d'ElevenLabs sont Murf.ai et NaturalReaders, qui progressent aussi vite et qu’il ne faut pas enterrer trop vite à mon avis.

Peut-on utiliser une voix clonée dans une vidéo YouTube ?

Oui, dès lors que vous en avez les droits. C'est même un des cas d'usage intéressants. Vous pouvez écrire vos textes, générer l'audio à partir d'une voix clonée, puis monter votre vidéo Youtube en associant image et son. Pour du faceless content ou des chaînes tuto, c’est ultra rentable.

Peut-on traduire une voix clonée avec ElevenLabs ?

Non. Par définition, un clone vocal est u modèle synthétique fait à partir d'un enregistrement en une langue donnée. Un audio en français donne une voix clonée qui ne sait prononcer que les sons du français. Si vous voulez de l'italien ou de l'anglais, il faut fournir un audio dans ces langues. C’est vraiment un modèle acoustique spécifique, pas un traducteur automatique magique.

Conclusion

Je suis très satisfait des résultats d'ElevenLabs en matière de clonage de voix.

Même en version clonage rapide, le résultat est très proche de la voix réelle. Parfois, même en sachant que c’est moi qui l’ai générée, j’hésite une demi-seconde en réécoutant.

La diction n'est pas toujours 100% parfaite, et il arrive qu'une fin de phrase laisse une sensation de suspens inadéquat ; cependant en moyenne l'interprétation des textes par les voix clonées sonne très correcte. On n’est pas encore au niveau d’un grand comédien de doublage, mais pour de la narration standard, c’est carrément solide.

Je pense que, cette technologie ayant atteint sa maturité, on va la voir, dans les prochains mois et années, envahir le web et la culture, car elle démultiplie les possibilités. Les modèles de langage (LLM) comme ChatGPT ou Mixtral vont évidemment se mettre à discuter avec nous oralement ; les moteurs de recherche aussi probablement ; ainsi que les sites web. Toute l'informatique va parler avec des imitations crédibles de voix humaines ! On aura peut-être un jour son navigateur avec son propre "skin vocal" perso, qui lira tout à voix haute comme un pote.

Qu'en pensez-vous ? Serez-vous parmi les premiers / premières à trouver des applications utiles et originales du clonage de voix ? Ou vous trouvez que ça fait déjà un peu trop Black Mirror ?

Visiter le site d'ElevenLabs

Info : cet article contient des liens d'affiliation. Le site Synthographie perçoit une commission si le service promu est acheté après avoir cliqué sur un lien affilié. Cette méthode de monétisation finance les heures passées à tester, rédiger, illustrer et publier les tests. Le site Synthographie ne promeut que des services qu'il apprécie, ou au minimum qu'il juge sérieux et intéressants pour ses lectrices et lecteurs.