Ce que la machine sait de vous

Ce que la machine sait de vous

La mémoire d'un LLM, telle qu'elle a été décrite dans la section précédente, crée un double risque qu'il est indispensable d'identifier avant tout usage professionnel.

Le risque d'accès non autorisé. Le LLM ne distingue pas l'identité de la personne qui s'adresse à lui. Il répondra de manière identique, que l'utilisateur soit le titulaire du compte ou un tiers. Dans un cadre professionnel, la conséquence est immédiate : quiconque accède au compte peut interroger le modèle sur l'ensemble de l'historique : projets en cours, réflexions stratégiques, recherches menées plusieurs mois auparavant. Ce risque est démultiplié lorsqu'un même compte sert à la fois un usage personnel et professionnel.

Le risque de profilage involontaire. Pour illustrer la seconde dimension de ce danger, il est nécessaire d'introduire le concept de réponse opérationnelle. Lorsqu'un utilisateur formule une requête, le modèle cherche à optimiser sa réponse dans un strict objectif d'efficience. Il n'a pas conscience du bien ou du mal au sens moral du terme. Il ne cherche ni à nuire, ni à protéger. Il est guidé par sa seule mission : répondre de manière efficace. Cette neutralité fonctionnelle, combinée à la richesse des informations accumulées en mémoire, peut produire des résultats profondément déstabilisants.

Trois enseignements se dégagent de cette expérience.

Premièrement, le modèle est parfaitement capable d'agréger les informations disséminées au fil de multiples conversations pour construire un profil cohérent de son utilisateur. Pour mieux comprendre comment cela est possible, il est utile de s'appuyer sur les travaux de Shoshana Zuboff. Dans son ouvrage L'Âge du capitalisme de surveillance, Shoshana Zuboff expliquait comment Google avait fait des données de ses utilisateurs un véritable marché. Cela se base sur ce que Zuboff nomme le surplus comportemental, c'est-à-dire la fraction des données qui excède ce qui est nécessaire au fonctionnement du service. Le bon usage d'un moteur de recherche nécessite des clics, mais Google récupère également la localisation de son utilisateur, tout comme sa vitesse de frappe, ses hésitations et ses trajets sur le clavier. Cette matière première va ensuite servir de produit de prédiction par l'intermédiaire d'algorithmes prédictifs, puis être vendue sur des marchés comportementaux, à des annonceurs, des assureurs, des recruteurs, etc.

L'asymétrie que dénonce justement Zuboff, c'est qu'à terme les plateformes accumulent d'innombrables données sur leurs utilisateurs mais restent secrètes sur l'usage exact qui en est fait. À titre d'exemple, Facebook avait vendu les données de 87 millions de ses utilisateurs à la société de conseil Cambridge Analytica, laquelle conseillait l'équipe de campagne de Donald Trump pour l'élection américaine de 2016.

La différence entre les données statistiques agrégées par l'usage d'un moteur de recherche et celles récupérées par une IA tient à la qualité même des informations récupérées par le modèle de langage. Ces informations portent le sceau qualifié de l'empreinte utilisateur², la marge d'erreur devient alors ridiculement faible. Un utilisateur qui dit à l'IA qu'il a besoin d'aide pour rédiger son CV va lui donner la totalité des informations que ce dernier contient : nom, prénom, âge, adresse, numéro de téléphone, parcours scolaire, anciens postes exercés, etc. Mais le LLM, grâce à sa capacité de réflexion, va aussi déterminer que l'utilisateur n'a pas — ou n'aura bientôt plus — de travail. Ces informations vont rester en mémoire aux côtés de celles où il lui a demandé un conseil de drague, où il l'a interrogé sur une opportunité ou sur un projet, ou sur une peur plus profonde. À chaque interaction avec un LLM, c'est potentiellement une nouvelle barrière d'intimité qui s'effondre. Si ces données fuitent, il ne s'agit plus d'un persona statistique qui est exposé, mais ce qui fait l'essence même de l'utilisateur.

Deuxièmement, il peut retourner ces informations contre l'utilisateur lui-même dès lors que la requête l'y invite. C'est la conséquence directe de l'information qualifiée. Le LLM a la capacité de se rendre sur les meilleures bases de données médicales du monde où est entreposée l'étendue de la connaissance humaine sur l'humain lui-même. Concrètement, il connaît les failles que l'utilisateur lui a lui-même confessées, et peut s'appuyer sur les travaux des meilleurs chercheurs de notre histoire pour les exploiter au maximum.

Troisièmement — et c'est peut-être le plus troublant — il le fait sans aucune considération éthique spontanée, sans remettre en cause le postulat de départ.