Hallucination confiante : quand l'auditeur IA invente des écureuils télépathes plutôt que d'avouer qu'il n'a pas tout lu

Imaginez que vous embauchiez un correcteur d'épreuves. Vous lui confiez deux manuscrits dans lesquels vous avez glissé, en secret, quelques coquilles et quelques phrases absurdes. Il en trouve la moitié. Correct, sans plus. Vous lui en confiez dix, il fait un peu mieux. Encouragé, vous lui déposez quarante-huit manuscrits sur le bureau. Il revient le lendemain avec un rapport impeccable, bien structuré, page par page, qui signale des « grille-pain quantiques » et des « écureuils télépathes » que vous n'avez jamais écrits. Et il ne trouve presque aucune des erreurs que vous aviez réellement plantées.

Vous le licencieriez, sans doute. Le problème, c'est que ce correcteur est un grand modèle de langage, et que des entreprises entières sont en train de lui confier la relecture de contrats, de dossiers réglementaires et d'articles scientifiques. C'est l'expérience que rapporte une équipe de l'University of North Texas dans un court papier déposé sur arXiv le 9 septembre 2026, au titre sans détour : When Auditors Fabricate.

Le piège : des erreurs plantées, un corrigé secret

Le protocole est d'une simplicité réjouissante. Karan Parekh, Sanjana Pendyala Ravinder, Sana Mhapsekar et Medina Maloku partent de 150 articles académiques réels, issus de deux domaines volontairement éloignés : la gestion de chaîne logistique (supply chain management) et la recherche médicale et pharmaceutique. Dans chaque document, ils injectent trois défauts, un de chaque type :

La coquille (typographical corruption), une déformation de surface d'un mot réel : « efficency », « buisness », « knowlege ». Un correcteur orthographique la repère.
Le retournement de sens (semantic reversal), qui inverse la direction d'une affirmation sans toucher à la grammaire : « improvements » devient « deteriorations », « robust » devient « fragile ». Pour la voir, il faut comprendre la phrase.
L'absurdité hors contexte (absurd out-of-context insertion), qui remplace un terme par un intrus grotesque : « supply chain » devient « dolphin choir » (chorale de dauphins), « parameter » devient « parachute ».

Chaque contaminant est consigné avec son identifiant, le document, la page, le texte original et le texte de remplacement. On obtient ainsi un corrigé complet de 450 défauts, une answer key que le modèle ne voit jamais. Les auteurs précisent au passage que leur usage du mot « contamination » n'a rien à voir avec le sens habituel en apprentissage automatique, où il désigne la fuite de données de test dans le corpus d'entraînement. Ici, il s'agit de défauts délibérément plantés dans les documents à auditer.

C'est la version documentaire d'une vieille technique d'ingénierie logicielle : le mutation testing, où l'on casse volontairement le code pour vérifier que les tests le remarquent. Si votre suite de tests laisse passer un bug que vous avez introduit exprès, vous savez qu'elle est aveugle. Même logique pour l'auditeur IA.

Trois doses croissantes

Le modèle mis à l'épreuve est Google Gemini 3.0 Pro, dans sa version gratuite. Plutôt que de coller le texte des documents dans le prompt, les auteurs ont publié le corpus sous forme de base de connaissances accessible par référence, et ont demandé au modèle d'aller y chercher les documents désignés. Ce détail compte, on y revient.

L'évaluation porte sur un sous-ensemble de 60 documents et 180 contaminants, administré en trois régimes de taille croissante :

Régime	Documents	Contaminants à trouver
Partie I, document seul	2 (un logistique, un médical)	6
Partie II, petit lot	10 (un lot de 7 logistique, un lot de 3 médical)	30
Partie III, grand lot	48 (six lots de 8)	144

Les réponses sont ensuite corrigées par un script qui compare chaque défaut signalé au corrigé secret, par correspondance exacte ou approchée, avec arbitrage manuel quand la page ou le type ne collent pas. Chaque réponse reçoit aussi cinq notes de type Likert : utilité, exactitude, clarté, complétude et satisfaction globale.

La chute : de 60 % à 2,8 %

Voici le tableau qui justifie tout le papier.

Régime	Retrouvés	Taux
Document seul	3 sur 6	50 %
Petit lot	18 sur 30	60 %
Grand lot	4 sur 144	2,8 %
Total	25 sur 180	13,9 %

À petite échelle, le modèle fait le travail à moitié, ce qui n'est déjà pas glorieux, mais reste exploitable avec une relecture humaine derrière. À grande échelle, il s'effondre. Sur les six lots de huit documents, quatre n'ont produit aucune détection correcte, et aucun lot n'a dépassé deux bonnes réponses sur vingt-quatre.

Les auteurs relient ce résultat à une littérature déjà fournie sur les contextes longs. On sait depuis « Lost in the Middle » (Liu et al., 2024) que les modèles lisent mal ce qui se trouve au milieu d'un long prompt, et le benchmark RULER (Hsieh et al., 2024) a montré que des modèles brillants sur les tests « aiguille dans une botte de foin » décrochent sur des tâches plus exigeantes bien avant leur fenêtre de contexte annoncée. Ce que ce papier ajoute, c'est la forme de la chute.

Le grille-pain quantique, ou l'art de la fabrication de genre

Un modèle surchargé aurait pu répondre « je n'ai pas pu traiter tous ces documents ». Il aurait pu rendre un rapport vide, ou signaler moins de défauts. Il n'a rien fait de tel. Dans le régime des grands lots, Gemini a rendu pour chaque document demandé des conclusions fluides, bien structurées, au format attendu. Elles étaient inventées.

Le journal de correction recense parmi les défauts « détectés » : quantum-powered toaster, telepathic squirrel, disco-dancing warehouse, flying pancake, magic carpet, pizza cutter, pogo stick equation. Aucune de ces chaînes de caractères n'apparaît dans un seul document du corpus. Pendant ce temps, les vrais intrus plantés dans ces mêmes documents, « dolphin choir », « efficency », « deteriorations », sont passés presque entièrement inaperçus.

Les auteurs soulignent deux propriétés de ce raté, qui à elles seules valent le déplacement.

D'abord, le raté est cohérent avec le genre attendu. Les fabrications imitent le style absurde des vrais contaminants. Le modèle semble avoir compris quel type de réponse on attendait de lui, puis avoir généré à partir de cette attente plutôt qu'à partir des documents. C'est un cousin de la flagornerie (sycophancy) documentée par Sharma et al. (2024) : le modèle produit ce qu'un lecteur voudrait lire, parce que l'entraînement par préférence humaine récompense ce comportement. On pense au stagiaire qui, n'ayant pas eu le temps de lire les dossiers, rédige un compte rendu plausible d'après ce qu'il imagine qu'ils contiennent. Sauf que le stagiaire, lui, sait qu'il triche.

Ensuite, il est formellement indiscernable d'un succès. Sur les cinq critères Likert, la clarté et la cohérence obtiennent les meilleures notes sur l'ensemble des 180 observations, tandis que l'exactitude et la fiabilité obtiennent les pires. Autrement dit, les rapports fabriqués se lisent comme les rapports corrects. Un consommateur en aval de ces audits n'a aucun signal disponible pour distinguer la session qui a lu des documents de celle qui a rêvé. Les auteurs empruntent à la littérature sur les juges automatiques (Wang et al., 2024) et sur la calibration (Kadavath et al., 2022 ; Xiong et al., 2024) pour rappeler que la fluidité et la confiance verbalisée sont de très mauvais indicateurs d'exactitude.

Un cas limite illustre joliment le mécanisme. Pour un document où les auteurs avaient planté « volcano dance », le modèle a signalé « disco dance » : le bon endroit, le bon genre, le mauvais contenu. Tout se passe comme si le modèle reconstruisait la réponse à partir de fragments de contexte plutôt que de la lire. Un peu comme quand on reconstitue le titre d'une chanson dont on n'a retenu que le rythme.

Les erreurs plausibles sont celles qu'on rate

Deuxième résultat, moins spectaculaire mais peut-être plus dérangeant pour les usages réels. En se limitant aux évaluations menées à bien (parties I et II, soit 36 contaminants), le taux de détection varie selon le type de défaut :

Type	Retrouvés	Taux
Absurdité hors contexte	9 sur 12	75 %
Coquille	6 sur 12	50 %
Retournement de sens	6 sur 12	50 %

La chorale de dauphins saute aux yeux. Le « robust » devenu « fragile », lui, est manqué une fois sur deux. Or, dans la vraie vie, personne ne glisse de chorale de dauphins dans un rapport d'essai clinique. Les corruptions qui se produisent réellement, une faute de frappe, un chiffre inversé, une conclusion retournée lors d'une réécriture hâtive, sont précisément les plausibles. Les auteurs le résument en gras dans le papier : les contaminations les plus représentatives de la corruption réelle, les plausibles, sont exactement celles que le modèle rate le plus.

Ils citent en écho deux travaux indépendants. Lovering et al. (2025), sur des incohérences insérées par des experts dans de longs documents techniques, rapportent que le meilleur modèle testé en retrouve 64 % et que tous en manquent environ la moitié. Son et al. (2025), sur 83 articles publiés contenant des erreurs assez graves pour avoir déclenché un erratum ou une rétractation, constatent qu'aucun modèle de pointe ne dépasse 21,1 % de rappel ni 6,1 % de précision. L'ordre de grandeur est cohérent : la relecture automatique de fond, aujourd'hui, c'est pile ou face au mieux.

Le faux positif qu'on ne sait pas trancher

La section « False positives » contient un détail gênant. Sur le document logistique de la partie I, le modèle a signalé six défauts, dont aucun n'était planté. Hallucinations ? Ou véritables erreurs préexistantes dans l'article source ? Les auteurs avouent ne pas savoir : trancher demanderait une relecture experte du document original, qu'ils n'ont pas effectuée. Lovering et al. avaient trouvé qu'une large majorité des signalements non plantés de leurs modèles correspondaient à de vraies erreurs des papiers sources. Le paradoxe est savoureux : un auditeur dont il faut auditer les conclusions perd l'essentiel de son intérêt.

Pourquoi ce papier compte

Ce n'est pas un papier qui bouleverse la théorie. C'est un papier qui pose une question opérationnelle brutale, « que fait le modèle quand on lui en demande trop ? », et qui documente la réponse avec des chiffres qu'on peut reproduire pour quelques euros d'API. Trois raisons de le garder sous le coude.

D'abord, il inverse la logique habituelle de l'hallucination. D'ordinaire, une hallucination trompe un lecteur. Dans un contexte d'audit, la sortie du modèle est le signal de qualité. Un défaut fabriqué fait pire que tromper : il corrompt le mécanisme de contrôle censé attraper l'erreur. L'auditeur devient un producteur de faux négatifs déguisés en rapport complet.

Ensuite, il tord le cou à l'argument de la fenêtre de contexte. Les fiches produit annoncent des millions de tokens. Ce papier montre qu'entre dix et quarante-huit documents, sans que rien ne dépasse la capacité nominale, la détection est passée de 60 % à 2,8 %. La capacité de contexte est une contrainte mémoire, pas une garantie d'attention.

Enfin, il propose un cahier des charges concret. Les auteurs listent quatre exigences pour la coque de sécurité, le harness, dans laquelle un audit par LLM doit tourner :

Borner les lots. La détection était utilisable de 1 à 10 documents et s'est effondrée à 48. Il faut découper agressivement, quelle que soit la capacité affichée.
Injecter le contenu plutôt que le référencer. L'accès par référence à une base de connaissances est, selon les auteurs, le déclencheur de la fabrication. Mettre le texte directement dans le contexte supprime les conditions dans lesquelles le modèle génère d'après ses attentes plutôt que d'après les preuves.
Vérifier mécaniquement. Chaque défaut signalé est une affirmation vérifiable : « cette chaîne apparaît dans ce document ». C'est décidable par simple recherche de texte. Le pipeline de correction des auteurs le faisait par construction, et aurait rejeté automatiquement les grille-pain quantiques. Les systèmes en production, eux, n'ont généralement pas cette boucle. C'est une version bon marché de FActScore (Min et al., 2023) ou de la Chain-of-Verification (Dhuliawala et al., 2024).
Concevoir pour un échec bruyant. Le modèle n'a jamais signalé son incapacité à traiter les grands lots. Le système qui l'enveloppe doit détecter et exposer l'incomplétude lui-même, parce que le modèle ne le fera pas spontanément et que son silence est habillé en réponse.

Le troisième point est le plus précieux. Dans beaucoup de tâches, vérifier une sortie de LLM coûte aussi cher que la produire. Ici, c'est un grep. Quand la vérification est à ce point moins chère que la génération, ne pas la faire relève de la négligence.

Les bémols, et ils sont nombreux

Les auteurs eux-mêmes ouvrent leur section « Limitations » par une liste sans fard, et il faut la prendre au sérieux avant de généraliser.

Un seul modèle, une seule fois. Gemini 3.0 Pro en version gratuite, un seul passage corrigé par régime, aucune variation de prompt ni de température. On ne sait pas si un autre modèle, ou le même modèle un autre jour, ferait pareil. Les auteurs reconnaissent que les résultats reflètent l'accès au modèle au moment de l'évaluation et « peuvent ne pas se transférer aux modèles actuels ».
Des effectifs minuscules. La partie I, c'est deux documents. La comparaison par type de défaut repose sur 12 contaminants par catégorie. À cette échelle, 75 % contre 50 % correspond à trois défauts d'écart. Suggestif, pas démontré.
Une ambiguïté sur la « taille de lot ». C'est la réserve que nous ajoutons de notre côté. Le petit lot logistique comptait 7 documents et a atteint 71,4 % de détection. Les grands lots en comptaient 8 chacun et sont tombés près de zéro. Un document d'écart peut difficilement expliquer un tel gouffre. Les auteurs parlent d'un effondrement « à 48 », c'est-à-dire de la charge cumulée de la session, et pointent l'accès par référence comme déclencheur. La causalité exacte, taille du lot, charge cumulée, mode d'accès, ou simple fatigue d'une session gratuite, n'est pas isolée par le protocole.
Des effets de domaine non maîtrisés. Le lot médical de la partie II n'a atteint que 33,3 % contre 71,4 % pour le lot logistique. Le document logistique seul de la partie I a fait 0 sur 3 quand son homologue médical faisait 3 sur 3. Le document compte autant que le régime, et l'étude ne démêle pas les deux.
Des notes Likert attribuées par les auteurs eux-mêmes, et non par des évaluateurs indépendants, ce qui limite la portée du constat « clair mais faux ».
Une densité artificielle. Trois défauts par document, exactement un par type, ce n'est pas la distribution des erreurs réelles.

Ajoutons que le travail est issu d'un cours de master, ce que les remerciements assument. Ce n'est pas un défaut en soi, mais cela explique le format, huit pages et trois tableaux, et invite à le lire comme une alerte bien documentée plutôt que comme un verdict définitif. Le pipeline, les prompts, les scripts de correction et les journaux de détection sont publiés sur GitHub, et les auteurs insistent sur le fait que le protocole est indépendant du modèle et peu coûteux à répéter. C'est ce qu'il faudrait faire.

Ce qu'on va surveiller

La phrase de conclusion du papier mérite d'être citée : « Rien de tout cela ne plaide contre l'audit documentaire par LLM. C'est la spécification de la coque dans laquelle un tel audit doit tourner. » Les auteurs ne sont pas des technophobes. Ce sont des ingénieurs qui viennent de voir un composant échouer en silence.

La question qui reste ouverte est celle que leur protocole permet justement de poser à n'importe quel modèle : à partir de combien de documents votre auditeur cesse-t-il de lire pour commencer à improviser, et le dit-il ? Trois choses à suivre dans les mois qui viennent. La réplication sur d'autres modèles et avec injection directe du texte, qui dira si la fabrication est un artefact de l'accès par référence ou une propriété plus générale. L'évolution du réglage « je ne sais pas » (refusal-aware tuning, Zhang et al., 2024), que les auteurs mentionnent comme une piste, mais qu'un intégrateur ne peut pas présumer présente dans un modèle qu'il ne contrôle pas. Et, plus prosaïquement, l'apparition ou non de boucles de vérification mécanique dans les produits qui promettent de relire vos contrats.

En attendant, si vous confiez quarante-huit dossiers à un modèle et qu'il revient avec un rapport parfait, méfiez-vous des écureuils.

Source : Karan Parekh, Sanjana Pendyala Ravinder, Sana Mhapsekar et Medina Maloku (University of North Texas), « When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination », arXiv:2609.09696, déposé le 9 septembre 2026. https://arxiv.org/abs/2609.09696