Les IA sous forme de modèle de langage (LLM) ne savent pas dire la vérité, ni fact-chécker | Critique de l'intelligence artificielle

La révolution technologique, économique et sociale en cours en matière d'IA a quelque chose de fascinant :

• les IA font la une des médias, alimentant merveilleusement bien le système prostitutionnel des thèmes putaclic
• d'obscures technologies comme les réseaux neuronaux et l'apprentissage automatique (machine learning) sortent soudain des labos de tronches geeks et prennent la lumière comme des stars du rap devant des publics en extase,
• la population s'excite à leur sujet, pour tomber dans le panneau de deux manières très différentes :
  • en fantasmant des tas de capacités merveilleuses que les IA n'ont pas,
  • et en ressentant une fois de plus de terribles angoisses de fin du monde.

En moyenne, ce qu'on peut lire à propos des IA fait rarement preuve d'esprit critique, de même que la manière crédule dont on les utilise. Un anthropomorphisme gluant caractérise les discours et les usages. On parle à l'IA comme à un humain sans vraiment se rendre compte qu'il ne s'agit que d'algorithmes passablement idiots, malgré le nom erroné qu'on leur donne ("intelligence artificielle").

Dans cet article, je vais m'efforcer de démontrer une thèse simple, mais aux conséquences puissantes :

• les IA sous forme de LLM (large language models) sont incapables de dire la vérité

Je vais étoffer cette thèse en démontrant aussi des thèses complémentaires :

• les IA sont incapables de savoir ce qu'est la vérité sur un fait donné
• les IA sont incapables de fact-chécker, de faire de la vérification d'information sans assistance humaine

Les LLM sont faits pour prédire le prochain mot, pas pour dire la vérité

Etablissons d'abord ce fait : si l'on demande à un frigo de râper des carottes, tout ce qu'il produira, au mieux, sera des carottes entières froides. Car, un frigo ne sait pas râper des carottes.

De la même manière, un LLM n'ayant tout simplement pas été conçu pour dire la vérité, mais pour prédire les prochains tokens dans une suite de tokens donnés en fonction des statistiques d'un corpus donné.

Un token, c'est une unité d'information - et dans le langage des réseaux neuronaux, au fond un token est un nombre binaire - donc rien à voir avec le réel ni avec le langage.

Si le corpus dit un grand nombre de fois "ABABABABA", et qu'on dit au LLM "ABABABA", le modèle de langage répondra donc "ABABABABA" : certes, ça ne veut rien dire, mais c'est correct et c'est ainsi et uniquement ainsi qu'il fonctionne.

Le simple fait de "vouloir dire" quelque chose, d'avoir une signification, n'importe pas du tout. Le LLM ne génère pas vraiment des mots, mais des tokens, c'est à dire des unités d'information - sans aucune garantie que cette information ait un sens quelconque, par exemple je peux écrire "hqpkdudhfhf" sans que cette suite de lettres veuille dire quoi que ce soit. Le modèle de langage (au nom lui aussi inadéquat, tout comme le terme "intelligence artificielle", puisqu'un LLM peut tourner avec un corpus qui ne serait d'aucun langage organisé), n'a aucun besoin que cette information soit liée au réel et n'a aucun moyen de mettre en relation les signes, les tokens, les mots, avec les faits du monde réel, ou pire, avec les "faits" des mondes imaginaires, fictifs, symboliques, dont sont faites les cultures humaines. (Car évidemment les humains ne vivent pas vraiment dans le réel, mais largement plus dans une représentation imaginaire du réel, où existent des choses comme Dieu, les licornes, la justice, "les immigrés", "la valeur de l'argent", "l'intelligence artificielle", etc).

La moyenne des réponses est rarement la bonne réponse

Il y a une fable célèbre, qui mène à penser que la moyenne de réponses non-expertes serait la meilleure réponse possible.

Cette fable est une histoire fictive qui expose le problème suivant. On donne à des gens lambda une photo d'un tas de grains de riz, et on leur demande d'évaluer le nombre exact de grains de riz. Dans les personnes interrogées, personne n'est expert en comptage de grains de riz. Beaucoup de réponses sont donc aberrantes : certains disent 120 grains de riz, d'autres disent 300 millions.

Or, quand on fait la moyenne de toutes les réponses, on obtiendrait une réponse approchante.

Je ne sais plus d'où sort cette histoire (et je m'en fous), je crois que c'est lié à un livre à propos du concept (fumeux, à mon avis), d'intelligence des foules. Mais j'ai régulièrement croisé des discours qui incluent ce type de démonstration : l'opinion moyenne à propos d'un problème serait une réponse proche de la vérité.

Il est tentant d'appliquer cette fable à notre problème "les LLM peuvent-ils dire la vérité". Les LLM ont un énorme corpus d'apprentissage, sur lesquels on leur a fait régler leurs paramètres. Ces corpus contiennent une masse d'opinions humaines sur toutes sortes de sujets. Grâce à l'IA, on pourrait donc calculer une sorte d'avis moyen sur toutes sortes de sujets, qui s'approcherait d'une réponse correcte. Ce qui tendrait à prouver que les LLM, si on leur fournit un corpus assez vaste, pourraient dire la vérité sur beaucoup de faits.

Il me semble facile de détruire cette thèse.

Prenons un exemple très simple, en faisant une expérience imaginaire. On demande à 100 personnes au hasard de donner une définition du photon. On obtiendra donc des réponses de gens qui savent à peu près ce qu'est un photon (vieux souvenirs du lycée), on tombera peut-être sur quelques personnes qui enseignent ou pratiquent la physique, mais la majorité des réponses seront infondées, absurdes, hors-sujet, erronées, fausses (y compris la mienne, car la physique j'y capte ketchi). Si donc on fait une sorte de moyenne sémantique des 100 réponses, ce qu'on obtiendra sera un charabia incompréhensible, très éloigné de la définition du photon et de sa réalité. Si maintenant on pose la même question à une autorité de la physique, par exemple une chercheuse en phonotique (ta mère), on aura une réponse digne de l'état actuel de la science - qui certes n'est peut-être pas la vérité, mais qui se rapproche du meilleur des connaissances actuelles sur le sujet.

Conclusion : dans de nombreux cas similaires, la réponse "moyenne" sera totalement fausse ou dépourvue de sens, alors qu'une réponse experte sera largement meilleure.

Donc, la méthode LLM, qui ressemble à une moyenne des opinions, produira la plupart du temps des résultats faux et absurdes.

Donc, les IA ne savent pas dire la vérité.

La moyenne des réponses d'un corpus faux n'a aucun rapport avec la vérité

Je vais reprendre la démonstration précédente avec un exemple plus réel.

Il se trouve que je fais du référencement SEO (l'art d'acquérir du trafic sur Internet), depuis environ 3 ans. D'abord, j'ai passé énormément de temps à me former en absorbant le corpus disponible sur Internet : des centaines de pages web de sites faisant autorité en SEO, des centaines de vidéos, etc. Cela m'a amené à acquérir un vaste vocabulaire technique, et un certain "savoir".

Rapidement, je me suis rendu compte que les sources que j'absorbais enchaînaient les affirmations sans preuves, alignaient les concepts techniques sans jamais prouver leur existence. Cela m'a frustré et je me suis mis à faire des tests, concept par concept. Telle affirmation est-elle vraie ? Tel concept a-t-il vraiment une réalité ? Si on applique telle stratégie SEO, observe-t-on une progression du trafic ?

Après 9 mois de tests, je me suis rendu à l'évidence : la grande majorité de ce que j'avais cru apprendre en lisant et écoutant les gourous du SEO était tout simplement faux.

Donc, en bref : je me suis formé sur un corpus faux.

Récemment, je me suis amusé à poser des questions aux IA / LLMs sur le référencement SEO : qu'est-ce que le maillage interne ? comment faire monter mon trafic ? si j'ajoute des liens sortants, mon trafic augmente-t-il ?

Les LLMs - ChatGPT 4, Mixtral, LLaMa, Claude... - m'ont répondu en gros avec le même discours que les gourous : c'est-à-dire, en enchaînant les concepts fumeux, les théories fausses, les stratégies inutiles, les faits inventés. Comme un âne numérique, l'IA m'a fait des réponses dignes d'un prêtre catholique : si la Bible du SEO le dit c'est que c'est vrai !!! Mais regarde, c'est écrit là par Maître Gourou en personne !!

Le SEO est donc un domaine d'expertise où je sais personnellement que l'IA raconte exactement le même n'importe quoi que le web. L'IA génère des phrases probables qui correspondent à son corpus. Si le corpus dit que la terre est plate, que Dieu a créé l'univers il y a 6 000 ans, que le soleil tourne autour de la terre, l'IA répètera tout cela sans rien vérifier ; elle fait la seule chose qu'elle sache faire, ânonner le corpus.

Conclusion : n'étant pas conçus pour dire la vérité, pour formuler des théories et les comparer avec les faits observables, les LLMs se révèlent totalement incapables de dire la vérité, et la confiance naïve qu'on leur accorde rien que par le fait de leur poser des questions ressemble à l'attitude d'un fou qui interrogerait un poteau électrique sur des questions philosophiques, et qui en attendrait une réponse. La seule réponse correcte que devrait formuler le poteau serait : tu es fou.

Les LLMs n'ont aucune capacité de fact-checking

Dire la vérité, c'est faire des phrases qui décrivent correctement le réel.

Or, si l'on utilise le langage ordinaire et l'opinion moyenne, on parvient rarement à des descriptions correctes du réel.

Par exemple, si on demande aux gens :

• comment se forme la pluie ?
• pourquoi le ciel est-il bleu ?
• la Chine de Xi Jiping est-elle communiste ?
• qui a découvert l'Amérique ?
• quels sont les 5 sens ?
• l'immigration fait-elle monter le chômage ?

on peut se douter d'avance que les réponses seront largement fausses.

Par exemple à "Qui a découvert l'Amérique ?" beaucoup de gens répondront "Christophe Colomb", sans se rendre compte que la question était absurde, l'Amérique ayant été habitée depuis une date comprise, selon l'état actuel des connaissances en archéologie, entre - 40 000 et - 16 000 ans, et que bien entendu on n'a aucune idée des identités des humains qui ont mis le pied sur ce continent à cette époque - aucun d'entre eux ne nous a laissé sa carte d'identité.

Ou, à la question "Quels sont les 5 sens", beaucoup de gens répondre : "la vue, l'ouïe, le goût, l'odorat, le toucher". Réponse totalement fausse vu que le corps humain compte une vingtaine de systèmes sensoriels - mais seuls les gens qui ont étudié la physiologie et l'anatomie de près peuvent le savoir. (Je sens qu'une partie du lectorat va se révolter contre ce que je viens de dire, et me traiter d'imbécile, ce qui est également une caractéristique constitutive des ignorants : d'être incapables d'admettre leur ignorance.)

De la même manière, si on demande "l'immigration fait-elle monter le chômage", une partie de la population répondra "Oui, c'est évident !!! ils nous volent notre travail !!!", alors que la réponse, démontrée par des économistes, est "Non, au contraire, les populations immigrées augmentent la richesse du pays d'accueil". Les gens pensent avec un cruel manque de faits, de rigueur méthodologique, de logique, et aboutissent massivement à des conclusions fausses.

Il est facile d'observer que 99,999% des gens qui savent ce qu'est une ampoule, n'en auraient pas eu l'idée et n'en comprennent pas le principe.

Pour savoir quels sont les liens entre immigration et chômage, il faut y consacrer des milliers d'heures de réflexion, étudier des faits en masse, avoir donc les moyens de recueillir ces faits (les créer, ou rassembler des sources d'information pertinentes), avoir une excellente maîtrise des concepts utilisés en économie, utiliser des définitions très précises des termes "immigration" et "chômage", et disposer aussi d'une bonne dose d'esprit critique pour garder l'esprit libre face aux lacunes des sources, aux failles des méthodes, aux erreurs des meilleures autorités (toutes les stars de la science ont commis de graves erreurs.) Tout cela n'est pas à la portée du premier venu. L'opinion qu'ont les gens sur cette question n'a donc aucun intérêt et aucun rapport avec la vérité : c'est aussi intéressant que de demander son avis à un crapaud écrasé à propos du Hamas ou des taux d'intérêt de la Banque Centrale Européenne.

En revenant au problème du rapport entre les IA et la vérité : pour dire quoi que ce soit d'intéressant à propos de l'immigration et du chômage, il faudrait que l'IA ait la capacité de faire, au moins aussi bien, tout ce que font les experts du domaine. Comprendre les concepts, analyser et critiquer les sources, mettre en oeuvre les méthodes.

Or, comme précédemment : les LLM ne sont tout simplement pas faits pour ça, mais, je le répète encore une fois pour que ça rentre : ils savent juste prévoir le prochain mot le plus probable en fonction des statistiques du corpus.

L'IA peut dire la vérité, dès lors que le corpus est majoritairement vrai

Maintenant, imaginons que je prenne n'importe quel LLM, AVANT toute phase d'entraînement. A ce stade, c'est donc un réseau neuronal vierge qui ne "sait" rien de rien.

Puis, je lui donne le meilleur corpus possible sur une question donnée.

Par exemple, je lui donne toute l'info archéologique disponible, d'après les meilleures sources scientifiques.

Et là je lui demande "Qui a découvert l'Amérique ?"

Le génial LLM me répondra alors : "Tu sais Ludo, c'est pas ce qu'on croit hein, Christophe Colomb n'a rien découvert au sens propre du terme. Des humains venant d'Asie du Nord-Est sont passés en Amérique du Nord, probablement à l'occasion d'une période de glaciation. On a telle trace datée de telle époque par telle méthode, et telle autre (... et une longue liste d'indices, de faits contestables...) Au final, on n'a pas réellement la réponse à cette question, on n'a un faisceau d'indices, on a des théories discutables et discutées, et la science continue à chercher. Voilà, bonne journée gros !"

Ce serait le plus honnête et le plus véridique des LLM, qui ne passerait pas son temps à nous raconter des conneries - halluciner des faits, fournir des moyennes de corpus faux - comme les IA actuelles.

Donc finalement : OUI, une IA peut dire la vérité, si celle-ci est déjà présente dans le corpus produit par les humains.

Donc NON, en fait les IA ne disent pas la vérité au sens où elles ne savent pas l'inventer - au sens où toute procédure de vérification leur est étrangère.

(Désolé pour cette conclusion paradoxale mais je kiffe les paradoxes.)

Conclusion : utiliser les IA en leur faisant faire ce pour quoi elles sont faites

Je conclurai donc ma démonstration en formulant quelques recommandations :

• il est inutile et improductif de demander aux IA de nous dire une quelconque vérité sur le monde réel, sur l'imaginaire, sur nous : donc oubliez les projets consistant à en faire des profs, des journalistes, des scientifiques, des poètes, des thérapeutes etc
• l'IA est très forte pour produire du bon texte, quand il s'agit d'un langage contraint et logique. Par exemple, pour écrire du code informatique en respectant la syntaxe obligatoire : formater du HTML ou du Javascript, l'IA fait ça très bien, elle peut donc nous aider de manière fiable à écrire du code qui fonctionne, car elle n'oublie pas aussi souvent que nous de fermer une balise ni de mettre un point-virgule en fin de ligne
• si vous ne savez rien faire, l'IA fera ça mieux que vous quand la moyenne du corpus fait ça mieux que vous ; mais si vous êtes expert-e dans un domaine, alors dans l'état actuel des technologies IA vous n'avez pas de souci à vous faire : l'IA ne dira pas la vérité mieux que vous ; par contre la bêtise humaine, adhérant à la nouvelle religion de l'IA, vous fera bel et bien perdre du crédit et de l'autorité, et vous rétorquera bêtement "méééé !!! l'intelligence artificielle, qui me sert dorénavant de système nerveux central, a dit que !!!" ; mais comme toute religion l'idolâtrie des toutes-puissantes divinités LLM aura un début et une fin, qui ne sera pas celle du monde et de l'humanité