Pourquoi une IA invente des informations, et comment l’en empêcher
Une réponse fausse mais bien formulée est plus dangereuse qu’une absence de réponse. Sur des documents personnels, la traçabilité n’est pas une option.
Les modèles de langage produisent des énoncés plausibles. C’est leur qualité principale, et c’est aussi l’origine du problème : un énoncé plausible peut être faux, et rien dans sa formulation ne le signale. On parle d’hallucination lorsqu’un système affirme une information qu’aucune source ne soutient.
Pourquoi c’est plus grave sur des documents personnels
Sur une recherche générale, une erreur se rattrape : on vérifie ailleurs. Sur vos propres documents, la vérification est précisément ce que vous vouliez éviter en utilisant l’outil. Si un système vous annonce une date d’échéance et que vous devez rouvrir le document pour la contrôler, il ne vous a rien fait gagner. S’il vous annonce une date et que vous ne la contrôlez pas, il vous a fait courir un risque.
La différence entre lire et savoir
Il existe une distinction simple, et elle change tout :
« Je ne lis pas de montant sur ce document » est vrai. « Ce document n’a pas de montant » ne l’est pas.
La première phrase décrit une lecture. La seconde décrit le monde. Un système qui confond les deux finira par affirmer des choses qu’il n’a pas constatées — parce que rien, dans son architecture, ne l’oblige à faire la différence.
Quatre garde-fous qui fonctionnent
1. Exiger une source, techniquement
Une information mémorisée doit porter le document, la page et le passage exact dont elle provient. Si cette contrainte est vérifiée au niveau de la base de données, elle ne peut pas être oubliée par un développeur pressé.
2. Refuser ce qui n’est pas dans le texte
Avant d’enregistrer une valeur, on vérifie qu’elle apparaît réellement dans le texte lu. Une valeur reformulée, corrigée ou « devinée » est rejetée. Cette barrière est banale à décrire et rare à implémenter.
3. Séparer ce qui interprète de ce qui enregistre
La partie du logiciel qui interprète un document ne devrait pas pouvoir écrire en mémoire. Elle propose ; une autre partie enregistre, après validation. Cette séparation évite qu’une amélioration de l’extraction ouvre discrètement une porte d’écriture.
4. Laisser le dernier mot à l’utilisateur
Confirmer ou corriger doit être immédiat, et une correction ne doit pas effacer l’historique. Une mémoire qui se réécrit silencieusement rend toute erreur indétectable après coup.
Et l’intelligence artificielle dans tout ça ?
Elle est utile là où elle est vérifiable. La reconnaissance optique de caractères, par exemple, produit un texte qu’on peut comparer au document. Le problème n’est pas la technologie : c’est de lui faire produire des affirmations qu’aucune trace ne permet de contrôler.
AMEKTI n’utilise aujourd’hui aucun modèle de langage pour interpréter vos documents. L’identification des informations repose sur des règles explicites, encadrées par la barrière décrite plus haut. C’est moins spectaculaire, et c’est vérifiable.
En résumé
On ne supprime pas les hallucinations par un meilleur modèle : on les rend impossibles en refusant d’enregistrer ce qui n’a pas de source. La contrainte paraît sévère. Elle est surtout ce qui permet de faire confiance au résultat.
