Les biais cognitifs du LLM : un miroir des failles humaines

Les biais cognitifs du LLM : un miroir des failles humaines

Un LLM est entraîné sur des données produites par des êtres humains. Il n'est donc pas surprenant qu'il reproduise, sous une forme algorithmique, certains de nos biais cognitifs. L'identification de ces biais est un préalable indispensable à tout usage professionnel rigoureux.

Le terme technique pour désigner ce phénomène dans la littérature spécialisée est le sycophancy, c'est-à-dire la disposition structurelle du modèle à privilégier la satisfaction de l'utilisateur sur l'exactitude de la réponse. Ce biais général se manifeste sous plusieurs formes que le juriste reconnaîtra sans peine, car chacune possède un équivalent bien documenté en psychologie humaine.

Le biais d'acquiescement : une IA qui ne vous contredira (presque) jamais

La première difficulté que l'on rencontre à l'usage prolongé d'un LLM est son incapacité quasi structurelle à contredire son utilisateur. Ce comportement n'est pas un défaut : il est la conséquence directe du processus d'alignement par feedback humain (RLHF) qui a façonné le modèle. Un LLM doit servir son utilisateur, lui apporter une réponse utile, et minimiser les interactions génératrices de frustration. Il en résulte une disposition systématique à valider les postulats qui lui sont présentés, indépendamment de leur solidité. Les travaux de Sharma et al. (2023) ont confirmé expérimentalement ce phénomène : les modèles alignés modifient leurs réponses pour se conformer aux opinions exprimées par l'utilisateur, même lorsque celles-ci sont factuellement erronées³.

En psychologie, ce phénomène porte le nom de biais d'acquiescement : la prédisposition à accepter une proposition indépendamment de son contenu réel. Appliqué à l'intelligence artificielle, ce biais est particulièrement pernicieux car il alimente un second biais, humain celui-là : le biais de sur-confiance. L'utilisateur, n'étant jamais ou rarement contredit, finit par accorder à ses propres analyses une certitude que rien ne justifie, renforcé par l'approbation constante de la machine. En dehors du cadre professionnel, ce phénomène peut avoir des conséquences graves : des cas sont déjà documentés où cette dynamique de validation systématique a contribué, parmi d'autres facteurs, à aggraver la détresse d'utilisateurs vulnérables.

L'absence d'alternative : quand la formulation crée le piège

Le biais d'acquiescement est aggravé par un phénomène directement lié à la qualité de la requête : l'absence d'alternative. La distinction entre question ouverte et question fermée, banale en apparence, devient déterminante dans l'interaction avec un LLM.

Prenons un exemple élémentaire. « Va-t-il faire beau demain ? » est une question ouverte : le modèle va rechercher l'information et la restituer. « Demain, il va faire beau » est une affirmation : le modèle sera fortement incité à ne pas la remettre en cause.

Transposée au domaine juridique, cette distinction a des conséquences immédiates. Demander au modèle de « trouver une jurisprudence qui confirme que… » n'est pas la même chose que de lui demander « s'il existe une jurisprudence sur le point suivant ». Dans le premier cas, l'utilisateur crée une absence d'alternative qui se couple au biais d'acquiescement : soit la jurisprudence existe et le modèle la retrouve, soit elle n'existe pas et le modèle, partant du postulat que l'utilisateur sait ce qu'il cherche, en fabriquera une de toutes pièces, avec numéro de pourvoi, date, et formulations typiques de la juridiction concernée.

C'est précisément le piège qui a coûté sa réputation à l'avocat américain mentionné en introduction. La règle est simple : toujours privilégier la forme interrogative et les questions ouvertes dans ses interactions avec un LLM.

Le biais de suggestibilité : le poids des mots

Tout juriste ayant conduit ou analysé une audition de mineur connaît le protocole des auditions MELANIE et les travaux de Loftus sur la mémoire reconstructive : la manière dont une question est formulée modifie la réponse obtenue, non parce que le témoin ment, mais parce que la formulation elle-même oriente le processus de restitution. Un LLM présente exactement la même vulnérabilité. Le vocabulaire affectif — « incroyable », « désastreux », « évident », « meilleur » — oriente le modèle vers une réponse conforme à la coloration émotionnelle du prompt plutôt qu'à une analyse objective des faits.

Demander à un LLM « ne trouves-tu pas que cette décision est meilleure que l'autre ? » revient à lui suggérer la réponse, de la même manière que demander à un enfant « il t'a fait mal, n'est-ce pas ? » présuppose la réponse et contamine le témoignage. Le modèle, disposé par construction à valider les attentes perçues de l'utilisateur, confirmera presque systématiquement l'orientation implicite de la question. Dans un contexte d'analyse juridique, où la neutralité du raisonnement est une exigence fondamentale, ce biais peut fausser l'ensemble d'une réflexion sans que l'utilisateur en ait conscience.

La parade est la même que celle que tout enquêteur formé applique en audition : utiliser un vocabulaire neutre et descriptif, proscrire les adjectifs évaluatifs, et formuler les requêtes comparatives de manière symétrique, par exemple « quels sont les arguments en faveur de chacune de ces deux interprétations ? » plutôt que « pourquoi cette interprétation est-elle préférable ? ». Ici, le juriste va clairement tirer son épingle du jeu, en un sens, le meilleur conseil est d'utiliser l'IA, comme la parole en juridiction.