🤖 Générer des textes avec Claude, Mistral, LLaMA, Gemma, Llava, Sonar et autres modèles d'IA (LLMs / large language models)

Table des matières

Depuis la vague IA en 2022, tout le monde connait le plus célèbre des LLMs ou Large Language Models : ChatGPT d'OpenAI.

Mais connaissez-vous les autres modèles open-source, comme Claude, Mistral, Llama, Gemma, Llava, Sonar ?

Et savez-vous qu'il est possible, d'ici environ 2 minutes (le temps que vous finissiez de lire mon article, généré à la main par mon cerveau de primate rusé), de leur faire générer du texte illico presto et gratos ?

C'est ce qu'on va voir... bientôt, juste après ce petit détour.

L'enjeu des générateurs de texte autres que chatGPT

Mais d'abord, à quoi ça peut servir, me demanderez-vous, d'utiliser d'autres LLMs, quand on a déjà accès à la bête ChatGPT ?

Eh bien, je vous répondrai par une hypothèse : depuis bientôt 2 ans, Google a dû faire face à une déferlante de contenus générés par IA, ce qui lui a posé un nouveau problème de grande ampleur.

Alors que le but du moteur de recherche est de donner accès gratuitement à des listes de pages web classées par ordre de pertinence, Google, qui d'abord interdisait l'IA avant de changer d'avis récemment et de l'autoriser mais dans certains cas seulement, Google a dû faire un gros tri pour empêcher les contenus générés par intelligence artificielle de prendre le dessus sur les contenus humains. Il a demandé à OpenAI de placer dans les productions de chatGPT une sorte de "filigrane" qui lui permette de les filtrer, grâce à des marqueurs invisibles - le deal entre les deux géants est resté secret, mais il est probable qu'il s'agisse de critères comme la fréquence de certains mots, la non-utilisation d'autres mots, une préférence pour certaines structures de phrases, etc.

Par exemple, quand on demande à ChatGPT de rédiger un article sur n'importe quel texte en HTML, celui-ci va créer un paragraphe par partie. Cette structure, monotone et inhabituelle dans les écrits de main d'homme, fait peut-être partie des critères de détection.

Dans ces conditions, un enjeu de l'utilisation d'autres LLMs, qui n'auraient pas fait de deal avec Google, serait donc de générer du texte de manière indétectable.

Quoi qu'il en soit, toute situation de monopole n'apparait pas souhaitable car elle casse la liberté de choix autant que l'innovation, et c'est donc fondamentalement une bonne chose qu'il existe une diversité de modèles de génération textuelle.

Comment utiliser Claude, Mistral, LLaMA, Gemma, Llava, Sonar et les autres LLMs open-source ?

Une première réponse n'intéressera que les geeks et pas le grand-public : c'est simple, vous allez télécharger chaque modèle open-source, vous l'installez dans le cloud, et voilà, vous pouvez l'utiliser à volonté. Mais cela demande des connaissances et, souvent, des moyens, car beaucoup de modèles sont tout simplement trop gros pour être installés sur des ordinateurs individuels.

L'autre solution est de recourir à des services intermédiaires, qui eux, donnent accès à ces LLMs pré-installés sur leurs machines.

Voici quelques-uns de ces services.

Vercel.ai

Vercel.ai est une entreprise informatique qui propose divers services dans le cloud, comme le déploiement d'applications web.

Elle propose aussi de tester et comparer des LLMs dans un dispositif où le même prompt est envoyé à 2 modèles différents.

Les modèles disponibles sont :

Modèle / LLM	C'est quoi ?
llama-2-7b-chat	Le modèle de petite taille (7 milliards de paramètres) de Meta (Facebook...)
llama-2-13b-chat	Le modèle de taille moyenne (13 milliards de paramètres) de Meta
llama-2-70b-chat	Le modèle de grande taille (70 milliards de paramètres) de Meta
mistral-small	Le petit modèle de Mistral AI
mistral-medium	Le modèle de taille moyenne de Mistral AI
mistral-7b-instruct	Le modèle à 7 milliards de paramètres de Mistral AI
mixtral-8x7b-instruct	Ce modèle est un "sparse mixture of experts" : il mélange 8 modèles Mistral 7b spécialisés dans des tâches différentes
firefunction v-1	Modèle de Fireworks.ai
bloom	Modèle de BigScience, capable de générer du texte en 46 langues
flan-t5-xxl	Modèle de Google
gemma-2b-it	Le petit modèle de Google à 2 milliards de paramètres
gemma-7b-it	Le moyen modèle de Google à 2 milliards de paramètres
oasst-sft-4-pythia-12b-epoch-3.5	Modèle d'Open-Assistant, fine-tuné sur les données de cette application web
oasst-sft-1-pythia-12b	Première version du modèle précédent
gpt-3.5-turbo	Le célèbre modèle GPT 3.5 d'Open AI en version turbo

Le Playground de Perplexity Labs

A la base, Perplexity Labs est un moteur de recherche basé sur le traitement du langage naturel (NLP), fondé par un ancien d'Open AI.

Le Playground de Perplexity Labs vous permet d'utiliser en 2 clics les modèles suivants :

Modèle / LLM	C'est quoi ?
sonar-small-online	La version en ligne de petite taille du modèle Sonar de Perplexity.ai
sonar-medium-online	La version en ligne de t du modèle Sonar de Perplexity.ai
sonar-small-chat	La version chat de petite taille du modèle Sonar de Perplexity.ai
sonar-medium-chat	La version chat de taille moyenne du modèle Sonar de Perplexity.ai
mistral-7b-instruct	Le "petit" modèle à 7 milliards de paramètres de Mistral AI
mistral-medium	Le modèle de taille moyenne de Mistral AI
mixtral-8x7b-instruct	Ce modèle est un "sparse mixture of experts" : il mélange 8 modèles Mistral 7b spécialisés dans des tâches différentes
llama-2-70b-chat	Le modèle de grande taille (70 milliards de paramètres) de Meta (Facebook...)
llava-v1.5-7b	Modèle basé sur LLaMA et fine-tuné sur GPT
llava-v1.6-34b	Modèle basé sur Nous Hermes 2 - Yi-34B
gemma-2b-it	Le petit modèle de Google à 2 milliards de paramètres
gemma-7b-it	Le moyen modèle de Google à 2 milliards de paramètres