Fonctionnement : tokens, contexte, mémoire
Pour utiliser efficacement un LLM, il est nécessaire de comprendre trois notions techniques fondamentales : le token (1), la fenêtre contextuelle (2) et la mémoire (3).
Le token
Le token est l'unité de base qu'un modèle de langage utilise pour traiter le texte. Chaque mot est converti en un ou plusieurs tokens selon sa longueur. « Loi » correspond à un token ; « constitutionnellement » en représente trois. Cette unité de mesure n'est pas anecdotique : elle conditionne l'ensemble du fonctionnement de l'outil notamment en matière de capacité.
La fenêtre contextuelle
La fenêtre contextuelle désigne la quantité totale de tokens qu'un modèle peut traiter simultanément, c'est-à-dire la longueur maximale de la conversation qu'il est capable de maintenir sans, théoriquement, perdre le fil. Les premiers modèles, tel GPT-3.5, disposaient d'une fenêtre de quelques milliers de tokens, ce qui provoquait des pertes de cohérence au bout de quelques échanges. Les modèles actuels ont considérablement élargi cette capacité : Claude Opus 4.6 et Sonnet 4.6 (Anthropic) disposent d'une fenêtre standard de 200 000 tokens, extensible à 1 million en version étendue ; GPT-5.4 (OpenAI) accepte jusqu'à 1,05 million de tokens ; Gemini 3.1 Pro (Google) offre 1 million de tokens, avec 2 millions annoncés ; et Mistral Large 3 (Mistral AI) propose une fenêtre de 256 000 tokens.
Pour donner un ordre de grandeur, un million de tokens représente environ 750 000 mots, soit l'équivalent de 2 500 à 3 000 pages. Ces chiffres, en évolution constante, sont donnés à titre indicatif à la date de rédaction (mars 2026). Même les fenêtres les plus modestes de cette génération de modèles en font des outils d'analyse d'une puissance considérable. Toutefois, une nuance essentielle s'impose. Contrairement à l'être humain, un LLM ne dispose pas de mémoire persistante au sens strict. À chaque nouvelle requête, le modèle reprend l'intégralité du contexte de la conversation en cours. Plus celle-ci s'allonge, plus le risque de dégradation des réponses augmente : le modèle « dilue » progressivement les informations antérieures dans la masse des échanges.
La mémoire
Pour pallier cette limitation, les éditeurs ont développé des systèmes de « mémoire permanente ». Chez OpenAI, cette fonctionnalité porte le nom de « Memory » ; d'autres plateformes proposent des « instructions personnalisées ». Le principe est le suivant : au fil des conversations, le modèle enregistre certaines informations jugées pertinentes sur son utilisateur — sa profession, ses préférences, ses habitudes de travail — et les réinjecte automatiquement dans les interactions futures. Pour le professionnel du droit, l'avantage est immédiat : si le modèle sait qu'il s'adresse à un pénaliste, il adaptera spontanément son registre de langage et ses références sans qu'il soit nécessaire de le préciser à chaque échange.
À cette mémoire déclarative s'ajoute une forme de mémoire conversationnelle : tant que les conversations antérieures ne sont pas supprimées, le modèle peut y puiser pour enrichir ses réponses. Il devient alors capable de reprendre une recherche là où elle avait été laissée, ou de croiser des informations issues de discussions séparées.
Enfin, la société Anthropic a développé pour son IA des points de compétences actionnables appelés « skills ». Concrètement, il s'agit de fiches de compétences contenant les bonnes pratiques pour un usage déterminé. Cela peut être particulièrement utile par exemple pour la rédaction d'actes standardisés ou la création de documents spécifiques et répétitifs. Ce n'est pas directement une compétence de mémoire, mais un point de son optimisation.