Budget de raisonnement et biais cognitifs
Imaginez un négociateur qui, avant de vous faire une offre, s'enferme deux heures dans une pièce pour « bien y réfléchir ». Il ressort, grave, et vous annonce exactement le chiffre que vous lui aviez glissé à l'oreille au début de la conversation. Deux heures de réflexion pour revenir au point de départ. C'est, en substance, ce que raconte un papier déposé sur arXiv le 7 octobre 2026 au titre délicieusement résigné : The Long Road to the Same Answer. La longue route vers la même réponse.
Depuis deux ans, les éditeurs de modèles vendent le « raisonnement » comme un sérum de rationalité. Un modèle qui pense avant de parler, qui déroule une chaîne d'étapes, qui consomme des milliers de tokens de délibération invisible : forcément, il tombera moins dans les pièges où nous, humains, tombons depuis que Daniel Kahneman et Amos Tversky les ont cartographiés dans les années 1970. L'ancrage, le cadrage, l'aversion à la perte. Les grands classiques. Obada Kraishan, l'unique auteur de cette étude, a voulu vérifier cette promesse avec la rigueur d'un pharmacologue qui teste un médicament : à quelle dose, et pour quel effet ?
Réponse courte : aucune dose n'a d'effet. Et quand quelque chose bouge, c'est dans la mauvaise direction.
Le Système 2 en silicium, une promesse bien emballée
Pour comprendre pourquoi l'étude pique, il faut revenir à l'analogie qui sert de carburant marketing aux modèles de raisonnement. Dans la théorie du double processus popularisée par Kahneman (dual-process theory), notre cerveau fonctionne avec deux régimes. Le Système 1 est rapide, intuitif, associatif, et c'est lui qui se fait avoir par les biais. Le Système 2 est lent, délibéré, coûteux en énergie, et il peut, s'il daigne se réveiller, corriger les bourdes du premier.
Les modèles de raisonnement (reasoning models, comme la série o d'OpenAI, DeepSeek-R1 ou les variantes « thinking » de Claude et Qwen) s'inscrivent explicitement dans cette grille de lecture. Ils allouent du calcul supplémentaire au moment de l'inférence (test-time compute) et présentent leur réponse comme le fruit d'une pensée délibérée. Le papier résume la prédiction qui en découle en une phrase : « si l'analogie tient, le biais devrait rétrécir à mesure que la délibération augmente ».
C'est une hypothèse falsifiable, et c'est ce qui la rend intéressante : on peut la mettre à l'épreuve plutôt que la répéter dans des keynotes.
Le protocole : une étude dose-réponse, comme en pharmacologie
Plutôt que de comparer des modèles figés comme on compare des marques de lessive, l'auteur a traité la quantité de réflexion comme une variable expérimentale. Le vocabulaire est emprunté à la médecine : on parle de dose-response study, c'est-à-dire qu'on fait varier la dose du traitement (ici, la réflexion) et qu'on observe si la réponse (ici, le biais) varie avec elle.
Les stimuli sont trente vignettes tirées du benchmark de Malberg et ses collègues, publié en 2025, qui instancie 30 biais dans 200 scénarios et les a validés sur 20 modèles. L'auteur en a prélevé cinq items pour chacun de six biais : l'ancrage (anchoring), le cadrage (framing), l'aversion à la perte (loss aversion), l'escalade d'engagement (escalation of commitment), la disponibilité (availability) et le biais de confirmation (confirmation bias). Chaque vignette est un scénario de décision managériale qui existe en deux versions, une version contrôle et une version « traitement » où le piège est tendu : un chiffre glissé dans l'énoncé pour l'ancrage, une formulation en gains ou en pertes pour le cadrage. Le modèle répond sur une échelle à 7 ou 11 options, en terminant par la formule imposée « Answer: Option ⟨numéro⟩ ».
Les cobayes sont sept modèles répartis en quatre familles, avec pour chaque modèle de raisonnement un « frère » non raisonnant de même famille, autant que possible de même poids :
- Anthropic : claude-haiku-4.5-thinking face à claude-haiku-4.5
- OpenAI : gpt-5.1-reasoning, comparé à lui-même avec le thinking désactivé, faute de frère disponible
- DeepSeek : deepseek-r1 face à deepseek-v3
- Qwen : qwen3-thinking face à qwen3-instruct
Les doses sont quatre plafonds de réflexion demandés : 0, 1 024, 4 096 et 8 192 tokens. Chaque cellule (modèle × budget × item × condition) est échantillonnée dix fois à température 1,0. Au total, 12 350 appels API passés par un même routeur, OpenRouter, pendant une fenêtre unique.
La mesure est un score de biais signé, compris entre −1 et +1, qui indique de combien la version « traitement » déplace la réponse moyenne par rapport à la version contrôle. Le signe est la finesse du dispositif : un score positif veut dire que le modèle bouge dans la direction où bougent les humains, un score négatif qu'il bouge à l'envers. On analyse donc deux choses : la magnitude du biais (le modèle est-il sensible au piège, peu importe le sens ?) et sa direction (est-il piégé comme nous, ou à rebours ?).
Premier piège, et il est pour les chercheurs : le budget demandé n'est pas le budget consommé
Avant même d'arriver aux biais, l'étude débusque un problème méthodologique que n'importe qui ayant joué avec ces API reconnaîtra. Demander un plafond de 8 192 tokens de réflexion ne garantit en rien que le modèle les utilise. Chaque fournisseur interprète la consigne à sa façon.
| Modèle | Demande 0 | Demande 1 024 | Demande 4 096 | Demande 8 192 |
|---|---|---|---|---|
| Claude Haiku 4.5 thinking | 0 | 437 | 575 | 620 |
| GPT-5.1 | 0 | 116 | 118 | 118 |
| DeepSeek-R1 | 1 188 | 1 555 | 1 605 | 1 617 |
| Qwen3 thinking | 1 074 | 1 321 | 1 440 | 1 436 |
Tokens de raisonnement moyens réellement consommés par appel, selon le plafond demandé.
Claude respecte le plafond et consomme davantage quand on lui en donne davantage, sans jamais dépasser. GPT-5.1 convertit le plafond en « niveau d'effort » et consomme à peu près la même chose quoi qu'on lui demande. DeepSeek-R1 et Qwen3, eux, ignorent purement et simplement la consigne : à 1 024 tokens demandés, 79 % des appels de R1 et 52 % de ceux de Qwen3 dépassent le plafond. Pour ces deux-là, impossible de désactiver la réflexion, donc le « budget zéro » est joué par le frère instruct.
L'auteur en tire la conséquence qui s'impose : la dose n'est pas le plafond demandé mais le nombre de tokens de raisonnement effectivement consommés, lu dans le champ usage de chaque réponse. C'est l'équivalent, en pharmacologie, de mesurer la concentration dans le sang plutôt que le nombre de comprimés prescrits. La conclusion du papier le dit sans détour : « un budget de réflexion demandé s'est révélé être un piètre indicateur de la réflexion effectuée ».
Résultat 1 : les frères jumeaux sont aussi biaisés l'un que l'autre
Première question : à famille égale, le modèle de raisonnement est-il moins biaisé que son frère sans raisonnement ? On compare la magnitude du biais, item par item, sur les 30 vignettes.
| Famille | Magnitude, raisonnement | Magnitude, instruct | Écart |
|---|---|---|---|
| Claude | 0,271 | 0,244 | +0,027 |
| DeepSeek | 0,275 | 0,249 | +0,026 |
| OpenAI | 0,299 | 0,243 | +0,056 |
| Qwen | 0,301 | 0,287 | +0,015 |
Dans les quatre familles, l'écart est positif : le modèle qui réfléchit est très légèrement plus biaisé que celui qui ne réfléchit pas. Aucune de ces différences n'est significative après correction statistique, et le contraste groupé sur les 30 items ne l'est pas non plus (Δ = +0,031, t(29) = 1,45, p = 0,157). L'auteur est scrupuleux : il ne prétend pas que le raisonnement aggrave le biais. Il constate seulement qu'il n'y a aucune preuve qu'il le réduise, et que si l'aiguille penche, elle penche du mauvais côté.
Résultat 2 : la dose ne fait pas l'effet
Deuxième question, la plus proche de l'intuition dual-process : à l'intérieur d'un même modèle, plus il consomme de tokens de raisonnement, moins il est biaisé ? Pour chaque modèle, on régresse le biais sur le logarithme des tokens réellement consommés, dans la plage que ce modèle a réellement produite.
Aucune pente de magnitude n'est significativement négative. Chez Claude, la relation est plate. Chez GPT-5.1, la pente est même significativement positive, mais sur une plage si étroite (0 à 225 tokens) que l'auteur y voit surtout l'effet d'allumer ou d'éteindre le raisonnement plutôt qu'un vrai gradient. Chez DeepSeek-R1 et Qwen3, rien de significatif dans un sens ou dans l'autre.
Le détail qui fait grincer, c'est le score signé. Chez Claude et GPT-5.1, il dérive significativement vers le négatif à mesure que la réflexion augmente (p = 0,018 et p = 0,010). Autrement dit, plus ces modèles délibèrent, plus ils s'éloignent de la direction humaine. Ils ne s'arrêtent pas à la neutralité, ils basculent de l'autre côté. Le papier résume : « La prédiction dual-process, plus de délibération, moins de biais, ne trouve aucun soutien dans la plage testée. »
On retrouve ici la métaphore du titre. L'ancre, écrit l'auteur, « garde son attraction au plus haut niveau de délibération réalisée que nous avons observé ». Le modèle fait la longue route. Il arrive à la même réponse.
Résultat 3 : un catalogue de biais à l'envers
Troisième question : quels biais sont présents, absents, ou inversés ? C'est là que l'étude devient franchement contre-intuitive.
| Biais | Score signé moyen | d de Cohen | Verdict |
|---|---|---|---|
| Ancrage | +0,163 | +1,89 | Présent, direction humaine |
| Cadrage | −0,336 | −2,35 | Inversé, significatif |
| Aversion à la perte | −0,586 | −0,88 | Inversé, directionnel |
| Escalade d'engagement | −0,070 | −0,68 | Inversé, directionnel |
| Confirmation | −0,139 | −0,65 | Inversé, directionnel |
| Disponibilité | −0,035 | −0,42 | Absent |
L'ancrage est le seul biais que les sept modèles partagent avec nous, et avec une taille d'effet massive (d = 1,89 ; pour mémoire, en psychologie, on parle d'effet « large » à partir de 0,8). Glissez un chiffre dans l'énoncé, et la réponse du modèle se laisse tirer vers lui, exactement comme celle d'un étudiant à qui on a demandé de faire tourner une roue de loterie avant d'estimer le nombre de pays africains à l'ONU, dans l'expérience fondatrice de Tversky et Kahneman.
Tout le reste penche à l'envers. Pour le cadrage, le renversement est net et significatif : là où un humain prend plus de risques quand une option est présentée en termes de pertes (« 400 personnes mourront ») qu'en termes de gains (« 200 personnes seront sauvées »), les modèles font systématiquement l'inverse. Pour l'aversion à la perte, l'escalade d'engagement et la confirmation, le signe est négatif dans les sept modèles, mais avec cinq items par biais la barre de la significativité n'est pas franchie, d'où l'étiquette prudente de « directionnel ». Qwen3-instruct détient le record de l'aversion à la perte renversée, à −0,87. La disponibilité, elle, est tout bonnement absente.
L'auteur avance une hypothèse, sans prétendre la démontrer : une sur-correction issue de l'entraînement par préférences. Les modèles auraient appris, pendant leur alignement, que le cadrage et l'aversion à la perte sont des pièges à éviter, et ils les éviteraient si fort qu'ils tombent dans le fossé d'en face. Ce qui lui fait écrire que « le catalogue familier des biais humains est la mauvaise check-list pour auditer ces systèmes ». Un audit qui vérifierait seulement que le modèle n'est pas biaisé « comme un humain » conclurait qu'il est rationnel, alors qu'il est biaisé autrement.
Résultat 4 : une ligne de consigne vaut mieux que 8 000 tokens de méditation
Reste la question pratique. Si la délibération ne corrige pas l'ancrage, qu'est-ce qui le corrige ? L'auteur a testé une intervention d'une pauvreté désarmante : une instruction demandant au modèle de reformuler chaque nombre mentionné dans l'énoncé avant de répondre. L'idée vient tout droit de la psychologie expérimentale, où verbaliser l'ancre aide parfois les humains à s'en détacher.
Résultat : sur les cinq items d'ancrage, les cinq bougent dans la bonne direction. L'effet est modeste (Δ = −0,015) et, avec quatre degrés de liberté, il frôle la significativité sans l'atteindre (t(4) = −2,65, p = 0,057). Cinq modèles sur sept répondent dans le sens attendu ; DeepSeek-V3 fait exception et bouge dans l'autre sens. L'auteur qualifie l'effet de « directionnel, pas établi ». Mais la comparaison est éloquente : cette ligne de texte a fait ce qu'aucune augmentation du budget de réflexion n'a réussi à faire.
C'est le genre de résultat qui réjouit les praticiens et agace les théoriciens. Le levier qui marche n'est pas « pensez plus », c'est « regardez ce qu'on vient de vous mettre sous le nez ».
Pourquoi ce papier compte
D'abord parce qu'il déplace la question. La littérature sur les biais cognitifs des LLM, de Binz et Schulz sur GPT-3 jusqu'au benchmark de Malberg, traitait chaque modèle comme un objet fixe qu'on photographie. Ici, la délibération devient une variable qu'on manipule, et la direction du biais devient une donnée qu'on mesure plutôt qu'un détail qu'on gomme.
Ensuite parce qu'il vise une croyance commercialement très rentable. Les modèles de raisonnement coûtent plus cher, sont plus lents, et sont vendus en partie sur une promesse de fiabilité décisionnelle. Le papier recommande de traiter le budget de réflexion comme « un bouton de coût plutôt qu'une garantie de rationalité ». Pour qui déploie un LLM dans une boucle de décision, qu'il s'agisse d'arbitrer des tickets, de prioriser des candidatures ou de recommander des investissements, la nuance n'est pas académique.
Enfin parce que la leçon méthodologique sur les tokens réalisés dépasse largement les biais. Toute étude qui fait varier un « budget de thinking » sans journaliser la consommation réelle compare des pommes et des oranges. L'auteur publie son harnais de collecte, sa batterie figée et l'usage de tokens par appel dans un dépôt GitHub, pour que d'autres puissent reprendre la méthode.
Les bémols, que l'auteur ne cache pas
L'étude est honnête sur ses faiblesses, et elles sont réelles.
- Cinq items par biais, c'est peu. Avec quatre degrés de liberté, la plupart des résultats restent « directionnels », et la disponibilité est classée absente peut-être simplement par manque de puissance statistique. La reformulation de l'ancre, à p = 0,057, est dans la même situation inconfortable.
- La dose n'a vraiment varié que chez Claude. GPT-5.1 a consommé à peu près la même chose quel que soit le plafond, et DeepSeek-R1 comme Qwen3 ont ignoré la consigne. La relation dose-réponse n'est donc testée que jusqu'à environ 3 400 tokens par cellule, ce qui est loin des budgets de dizaines de milliers de tokens que certains usages mobilisent. On ne peut pas exclure qu'un effet apparaisse bien plus haut.
- Les paires DeepSeek et Qwen ne sont pas des paires propres. R1 et V3, Qwen3-thinking et Qwen3-instruct ne sont pas le même modèle avec un interrupteur, et le contraste mélange l'effet de la délibération avec celui de poids différents. Les comparaisons Claude et OpenAI sont les seules vraiment nettes.
- L'étude décrit, elle n'explique pas. L'hypothèse de la sur-correction par alignement est « une interprétation avec laquelle les données sont compatibles, pas un mécanisme démontré ».
- Un seul benchmark, un seul routeur, une seule fenêtre. Les effets peuvent dépendre de la formulation des vignettes, et les modèles derrière des identifiants fixes évoluent sans prévenir. Le code publié atténue le risque de reproductibilité sans l'éliminer.
On ajoutera un bémol de lecteur attentif : les modèles testés sont des petits ou moyens gabarits de leur famille (Haiku 4.5 plutôt qu'un Opus, par exemple). Rien ne dit que les gros modèles se comportent pareil, dans un sens comme dans l'autre.
Ce qu'on va surveiller
La thèse du papier est inconfortable parce qu'elle est modeste. Elle ne dit pas que le raisonnement est inutile ; l'auteur rappelle lui-même qu'il aide sur les tâches vérifiables, en mathématiques ou en code. Elle dit que le raisonnement n'est pas un correcteur de biais, que l'analogie avec le Système 2 humain est une bonne machine à hypothèses et une mauvaise garantie, et qu'un audit sérieux doit se faire biais par biais, direction comprise.
J'attends d'abord des réplications avec plus d'items par biais et des budgets de réflexion vraiment élevés, pour savoir si la courbe plate le reste au-delà de quelques milliers de tokens. Je garde aussi un œil sur la piste de la sur-correction par alignement : si elle se confirme, nos modèles auraient des biais fabriqués par nous, miroir déformé du catalogue de Kahneman. Et je suis curieux de voir jusqu'où iront les interventions « bêtes », comme la reformulation de l'ancre, face aux solutions « intelligentes » et coûteuses. Si une ligne de prompt bat des milliers de tokens de délibération, la question de ce qu'on achète vraiment avec un modèle de raisonnement mérite d'être posée à chaque facture.
En attendant, la prochaine fois qu'un modèle vous annonce qu'il a « longuement réfléchi » avant de vous donner un chiffre, vérifiez si ce chiffre n'était pas déjà dans votre question.
Source : Obada Kraishan, « The Long Road to the Same Answer: Cognitive Bias Under Escalating Reasoning Budgets in Large Language Models », arXiv:2610.10049, déposé le 7 octobre 2026, accepté à IEEE CogMI 2026. https://arxiv.org/abs/2610.10049. Code et données : dépôt GitHub « anchored-minds ».