- Modèle de langage / Large Language Model (LLM)
- Un modèle de langage ou Large Language Model (LLM) est un type de modèle de traitement du langage naturel (NLP) qui est entraîné sur un grand corpus de texte pour apprendre à prédire les mots suivants dans une phrase.
- Les LLM sont des réseaux de neurones artificiels profonds qui sont entraînés sur des milliards de mots ou plus de texte. Ils sont capables d'apprendre des représentations de mots et de phrases de haut niveau qui leur permettent de comprendre le contexte et la sémantique des phrases.
- Les grands modèles de langage sont utilisés dans de nombreuses applications comme la traduction automatique, la génération de texte, la réponse automatique à des questions et la compréhension du langage parlé.
- Exemples de LLMs connus : ChatGPT, Mixtral, LLaMa, Claude.
Voici une explication du fonctionnement des LLMs, rédigée par GPT 4 et interprétée par une voix synthétique, clonée d'après ma propre voix par l'IA ElevenLabs :
Dans ma série d'articles sur les limites des LLMs, j'ai montré que ceux-ci savent certes générer du texte à l'infini, mais ne savent que peu s'adapter à l'interlocuteur et encore moins comprendre le contexte.
Fondamentalement, les LLMs auraient besoin de se baser sur une ontologie pour vraiment comprendre ce dont ils parlent.
Bonjour,
On reproche à l’IA d’inventer quand elle ne sait pas répondre, ou de fournir des réponses erronées à certaines questions, or c’est exactement ce que font de nombreux humains. On lui reproche des biais idéologiques qui dépendent de son apprentissage mais cela est omniprésent chez l’être humain. Un bourgeois qui a fréquenté les écoles privées du 16e n’aura pas les mêmes réponse qu’un prolétaire, etc.
Je pense qu’il y’a là une grande confusion au niveau de ce que l’on attend e l’IA.
PIERRE
Je le pense aussi.
Le problème vient fondamentalement de l'illusion anthropomorphique sciemment entretenue par les LLM, dont j'ai dénoncé le fait qu'ils usurpent le pronom JE, alors qu'ils sont incapables de subjectivité : https://synthographie.fr/blog/chatgpt-et-llms/critique-intelligence-artificielle/intelligence-artificielle-et-subjectivite/
Le problème vient également de l'incompréhension des utilisateurs par rapport à la logique d'un LLM. Un LLM est un algorithme de prédiction du prochain mot. Donc, lui demander des choses comme "écris un roman" ou "fais une stratégie éditoriale SEO", c'est lui demander d'avoir une compétence professionnelle qu'il n'a jamais été programmé pour avoir.
C'est un peu comme parler à son mixer, et lui dire "tiens, fais-moi des frites et envoie mon bilan annuel au comptable". On pose des questions déplacées à un système qui n'a pas été prévu pour. Donc on est déçus de la réponse... déçus de notre propre bêtise.