Le biais de glissement
Les 5 points précédents partagent deux points communs : ils sont, en principe, détectables et, une fois connus, facilement neutralisables. Le biais d'acquiescement se repère par ce qui fait la force du juriste, la contradiction, ou précisément, l'absence de contradiction. La fausse expertise ne passe pas la barrière du véritable expert de sa matière. Le biais de facilité est neutralisé par une discipline d'usage. Ce dernier biais, en revanche, est silencieux, cumulatif et d'autant plus dangereux qu'il ne porte pas sur la qualité de la réponse du modèle mais sur la manière intrinsèque qu'aura le modèle d'interagir avec l'utilisateur et la manière dont l'utilisateur finira par raisonner comme le modèle lui-même.
Je le nomme biais de glissement : la tendance, induite par l'usage répété d'un LLM, à adopter progressivement les cadres de raisonnement du modèle comme les siens propres, sans en avoir conscience.
Ce biais n'est pas une nouveauté mais représente la transposition, dans le contexte de l'interaction humain-machine, de trois mécanismes bien documentés en psychologie cognitive.
Le premier est l'internalisation par influence informationnelle, démontrée par Muzafer Sherif dès 1935 dans ses expériences sur l'effet autocinétique. Le protocole est simple : dans une pièce plongée dans l'obscurité, un point lumineux fixe semble bouger, il s'agit d'une illusion perceptive. Chaque participant, interrogé seul, converge vers sa propre estimation de mouvement. Mais lorsque les participants sont placés en groupe et entendent les estimations des autres, leurs jugements convergent progressivement vers une norme commune.
Le plus troublant dans cette expérience a été la durabilité de ces effets sur les participants. Ces derniers, retestés individuellement une semaine plus tard, avaient reproduit l'estimation du groupe plutôt que de revenir à leur estimation initiale. Le groupe avait donc pris le pas sur la perception individuelle dans un contexte a priori dénué de toute pression sociale normative, dans un cadre simplement informationnel. Pour les psychologues, ce niveau de conformité est bien plus puissant qu'une conformité induite par une pression normative. Dans le cadre d'une pression normative, l'humain va engager un processus de résistance même inconscient ; dans le cadre du biais démontré par Muzafer Sherif, l'humain ne résiste pas, car le changement s'est ancré dans l'humain lui-même qui l'a internalisé.
Le second mécanisme est l'effet de simple exposition, mis en évidence par Robert Zajonc en 1968 : l'exposition répétée à un stimulus suffit à accroître l'attitude favorable de l'individu à son égard à condition que la personne en ait un avis a priori soit neutre soit légèrement positif. Appliqué non plus à des objets mais à des cadres de raisonnement, le principe est le suivant : plus vous êtes exposé à la manière dont un LLM structure ses réponses, plus cette structure vous semble naturelle, pertinente, normale, indépendamment de sa validité dans votre domaine. Cela est renforcé par le fait que les LLM ont une capacité de présentation linéaire et souvent de très bonne qualité leur permettant de bénéficier d'un a priori positif dès leur premier usage.
Le troisième est l'effet saying-is-believing (Le dire c'est le croire), identifié par Higgins et Rholes en 1978 : adapter ce que l'on communique à un interlocuteur modifie rétroactivement sa propre mémoire et ses propres croyances pour les aligner sur le message formulé. L'utilisateur qui reformule ses questions pour les adapter au LLM, qui retravaille les réponses du modèle puis les intègre dans ses propres écrits, accomplit précisément cette opération : il communique le cadre du modèle, et ce faisant, l'internalise.
Le biais de glissement est le phénomène qui émerge de la convergence de ces trois mécanismes dans un contexte inédit : l'interaction répétée avec un interlocuteur non humain dont le cadre de raisonnement est structurellement déterminé par son corpus d'entraînement.
Et c'est ici que réside son originalité, et sa dangerosité. Dans l'expérience de Sherif, la convergence est mutuelle : les participants convergent les uns vers les autres. Avec un LLM, la convergence est unilatérale. C'est l'humain qui glisse vers la machine. La machine, elle, ne bouge pas. Son cadre est fixe, déterminé par les données sur lesquelles elle a été entraînée. Or ces données ne sont pas neutres. Les grands modèles de langage actuels sont entraînés sur un corpus massivement anglophone, dans lequel le droit de common law, le raisonnement par précédent jurisprudentiel, la logique inductive, le stare decisis, est structurellement surreprésenté par rapport au droit continental, fondé sur le raisonnement déductif à partir du texte normatif, le primat de la loi écrite et le syllogisme juridique.
La conséquence est observable et commence à avoir ses premiers effets. Des juristes français, après un usage intensif et prolongé de ces outils, produisent des raisonnements dont la structure emprunte à des mécanismes qui ne sont pas ceux de leur ordre juridique. Cela ne tient pas au fait que ces juristes aient subitement décidé d'appliquer le cadre normatif de la common law, mais qu'ils ont été surexposés à des modèles de raisonnement distincts ayant fini par contaminer leur propre réflexion sans qu'ils ne s'en soient rendu compte. Le plus important étant à mon sens que le praticien ne commet pas d'erreur sur un point de droit, mais sur le cadre lui-même ce qui est beaucoup plus difficile à détecter.