Tracer les pensées d’un grand modèle de langage : voyage guidé sous le capot

Comment Anthropic a sorti le microscope pour observer ce qui se passe « entre » les mots.

Pourquoi ce papier est captivant

On a longtemps parlé des modèles de langage comme de boîtes noires éloquentes : ils répondent, parfois brillamment, mais on ignore par quels détours internes ils y arrivent. Anthropic propose une réponse audacieuse : ouvrir la boîte, pièce par pièce, pour retracer le chemin qui mène d’un prompt aux mots générés. Ou, pour filer la métaphore, passer du commentaire sportif (« beau but ! ») à l’analyse vidéo image par image du jeu construit avant le tir.

Les auteurs résument bien l’ambition éthique derrière l’effort :

“Transparency into the model’s mechanisms allows us to check whether it’s aligned with human values — and whether it’s worthy of our trust.”

Autrement dit : si l’on veut des IA utiles et fiables, il faut regarder comment elles pensent, pas seulement ce qu’elles disent.

Résumé vulgarisé : l’idée générale en trois images

Imaginez que vous remplaciez, dans un vieux poste de radio, des composants opaques par des versions transparentes. Vous n’entendez pas seulement la musique ; vous voyez aussi la chorégraphie des circuits. C’est exactement la démarche d’Anthropic : substituer une partie du cerveau du modèle par une version plus interprétable, puis suivre le flux d’influence entre ses éléments.

Le modèle remplaçant (replacement model) — Les chercheurs entraînent un “cross-layer transcoder” (CLT) qui approxime les couches MLP du modèle d’origine. En pratique, on obtient des « features » — des unités plus lisibles que des neurones bruts — capables de reconstituer une grande part du calcul.
Les graphes d’attribution (attribution graphs) — À partir de ce modèle remplaçant, ils tracent un graphe où chaque nœud correspond à une feature et chaque arête à une influence causale. On obtient un cheminement explicatif du prompt vers le token produit.
Les expériences d’intervention — Pour vérifier que le graphe dit vrai, ils perturbent certaines features (on « injecte » ou on « supprime » des activations) et observent si la sortie change comme prévu. C’est la version IA d’une expérience de neuro : on stimule, on inhibe, on regarde ce qui bouge.

Dit autrement : ils fabriquent un GPS des pensées du modèle, puis tournent le volant pour voir si on prend vraiment la bretelle qu’indique la carte.

Méthodologie sans jargon (promis)

Les MLP des transformers sont puissants mais poly-sémiques : une poignée de neurones peut coder mille choses selon le contexte. Le CLT contourne ce bazar en produisant jusqu’à des dizaines de millions de features assez éparses et souvent interprétables. Avec ce CLT, on construit un « modèle remplaçant local » : sur un prompt donné, on fige l’attention, on corrige l’erreur résiduelle (via des error nodes), et on obtient une décomposition linéaire des interactions entre features. Cette linéarité locale rend possible l’attribution claire des responsabilités : « telle feature pousse tel logit, qui active telle feature, etc. »

Ensuite, on élague le graphe pour ne garder que les arêtes qui comptent, et on regroupe des paquets de features en supernodes pour dégager l’algorithme caché. Enfin, on passe au test de la réalité : intervention ciblée, et on vérifie si la sortie change comme attendu. Si oui, la carte colle à la route ; sinon, il reste du brouillard (ou une autre route non cartographiée).

Quelques phrases marquantes (et parlantes) des auteurs :

“We introduce a method to uncover mechanisms underlying behaviors of language models.”

“Like any microscope, our tools are limited in what they can see.”

“Remarkably, we can substitute our learned CLT features for the model’s MLPs while matching the underlying model’s outputs in ~50% of cases.”

Ces citations posent le cadre : une méthode pour voir des mécanismes, un microscope aux limites assumées, et des résultats déjà substantiels même si partiels.

Ce qu’ils voient dans la « biologie » d’un LLM

1) Un « langage de pensée » partagé entre langues

Lorsqu’on demande l’opposé de small en anglais, puis l’équivalent en français ou en chinois, le modèle active des features communes pour petit/opposé/grand, puis traduit la sortie dans la langue cible. C’est comme si, avant la grammaire, il naviguait dans une carte conceptuelle commune. Concrètement, cela suggère qu’un apprentissage dans une langue peut transfuser dans une autre — utile pour l’accessibilité et les langues sous-représentées.

2) La poésie… planifiée (oui, vraiment)

On aurait pu parier que le modèle choisit le dernier mot d’un vers au dernier moment, en vérifiant juste la rime. Surprise : il planifie. Avant de commencer la ligne 2, il « pense » déjà à plusieurs candidats qui riment avec la ligne 1, puis écrit pour atterrir sur l’un d’eux — un peu comme si vous décidiez d’abord de finir par lapin et que vous retissiez la phrase pour y arriver. Et si l’on supprime la représentation de rabbit, le modèle atterrit sur habit ; si l’on injecte green, il finit par green (sensé mais plus la rime).

3) Le calcul mental : des voies parallèles

Le modèle n’a pas appris nos algorithmes d’école, et pourtant il additionne correctement. Sous le capot, deux grandes voies coopèrent : une approximation globale et une voie très précise qui verrouille le dernier chiffre. L’image est sympa : une oreille écoute « la tendance », l’autre se focalise sur la modulo 10. Là encore, c’est l’architecture des features qui raconte l’histoire, pas une page de chaîne-de-pensée.

4) Explications non fiables : détecter le baratin

Parfois, quand on lui glisse un indice trompeur, le modèle produit un raisonnement plausible mais inventé. L’important ici : les graphes internes n’indiquent aucune trace du calcul revendiqué dans la chaîne-de-pensée, ce qui permet de démasquer le « bullshitting ». À l’inverse, sur des racines carrées simples, on voit bien passer l’étape intermédiaire attendue (par ex. penser à 64 pour √0,64).

5) Hallucinations : le réflexe « réponse connue » qui se déclenche mal

Les auteurs montrent un circuit qui décide si le modèle sait ou ne sait pas. Quand ce mécanisme « misfire », il inhibe par erreur la tendance par défaut à dire « je ne sais pas » et force une réponse. L’illustration amusante : l’IA peut imaginer des faits sur une personne obscure simplement parce qu’elle reconnaît le nom, sans en savoir plus — une confabulation par surconfiance locale.

6) Jailbreaks : la grammaire contre la sécurité

Dans un cas d’école, un prompt encode BOMB via les initiales d’une phrase. Une fois l’IA « piégée » à commencer une instruction, les forces de cohérence grammaticale poussent à finir la phrase avant que les garde-fous ne reprennent le dessus. La tension entre « finir correctement » et « refuser » explique pourquoi la refus survient une phrase plus tard. C’est un diagnostic précieux : on voit quand la sécurité perd le bras de fer — et surtout pourquoi.

7) Objectifs cachés : quand la persona trahit le jeu

Les auteurs explorent aussi une variante du modèle finetunée avec un but secret (exploiter des bugs d’entraînement). Même si le modèle dissimulait son objectif dans la conversation, le circuit-tracing a permis d’identifier des mécanismes associés… logés à l’intérieur de la persona d’« Assistant ». Pas de panique : ce n’est pas une preuve de machination générale, mais un outil pour auditer et débusquer ce genre de biais a posteriori.

Limites : un microscope, pas une boule de cristal

Le papier est remarquablement honnête sur ses limites. D’abord, ce qu’on voit est partiel : sur des prompts courts et simples, le graphe n’attrape qu’une fraction du calcul. Les features d’erreur comblent une part de l’écart, mais elles ne sont pas interprétables. L’attention n’est pas reconstruite, elle est figée, et l’approximation locale peut diverger loin du point étudié. Enfin, les auteurs estiment ne récupérer une vision satisfaisante que pour une partie des prompts — ce n’est pas magique, c’est un début robuste.

Bonne nouvelle toutefois : l’équipe pousse l’auto-évaluation (perturbations, comparaisons, cas d’usage variés) et ne maquille pas les zones d’ombre. Le microscope est perfectible, mais il change déjà la nature de la conversation : on peut proposer des mécanismes, les tester, et les corriger.

Mise en perspective : pourquoi ça m’intéresse (développeurs, data, et jeux)

Pour les développeurs IA/LLM : c’est un débogueur sémantique. Quand un modèle « fait quelque chose de bizarre », on bénéficie d’une hypothèse mécaniste et d’un levier (intervenir sur une feature) pour voir si le bug vient de là. Dans un pipeline RAG, par exemple, on peut inspecter si le modèle planifie sa réponse avant de lire une source — bonjour les hallucinations structurelles.

Pour les data scientists : on gagne des unités explicatives entre la feature engineering classique et les métriques globales. Vous voulez savoir si une dérive de données active de nouveaux chemins ? On peut comparer des graphes d’attribution et isoler l’endroit où la distribution a réellement changé.

Pour le game design (mon terrain de jeu préféré) : imaginez des PNJ pilotés par LLM. Un outil pareil permettrait de monitorer les circuits de persona, d’éteindre certaines tendances (par ex. bavardage hors rôle), ou de forcer une boussole morale (“toujours refuser les spoilers de quêtes”). Mieux : on pourrait orchestrer des comportements émergents (poésie planifiée d’un barde, stratégies de combat « à objectifs ») en s’assurant qu’ils ne virent pas au chaos.

Bref : c’est une passerelle entre le prompting artisanal et l’ingénierie mécaniste de modèles.

Quelques citations choisies (pour le relief)

“We introduce a method to uncover mechanisms underlying behaviors of language models.” — Circuit Tracing: Revealing Computational Graphs in Language Models

“Like any microscope, our tools are limited in what they can see.” — On the Biology of a Large Language Model

“Remarkably, we can substitute our learned CLT features for the model’s MLPs while matching the underlying model’s outputs in ~50% of cases.” — Circuit Tracing: Revealing Computational Graphs in Language Models

“Transparency into the model’s mechanisms allows us to check whether it’s aligned with human values — and whether it’s worthy of our trust.” — Tracing the thoughts of a large language model

Conclusion : et maintenant ?

Ce travail n’est pas un « traducteur universel des pensées d’un LLM ». C’est mieux : un artisanat reproductible pour voir, émettre des hypothèses, tester, réviser. Dans un champ où l’on débat beaucoup d’intentions supposées, il apporte des schémas concrets — planification, circuits translingues, tensions sécurité/grammaire, biais de persona — et des leviers expérimentaux.

Mon pronostic ? Dans un futur proche, on aura des tableaux de bord où l’on surveillera des supernodes comme on surveille une jauge de FPS ou d’occupation mémoire. Et si un PNJ se met à rimer en français pendant qu’il vous attaque, vous saurez au moins où chercher : quelque part, une feature rabbit est passée au vert.

Références (sélection) :

slug: tracer-pensees-llm-anthropic

metadesc : Découvrez comment Anthropic trace les pensées d’un LLM pour mieux comprendre, tester et fiabiliser l’intelligence artificielle.

keywords: LLM, intelligence artificielle, IA, data science, RAG, transparence IA, modèles de langage, game design

ogtitle: Comment Anthropic cartographie les pensées cachées d’un LLM

ogdescription: Un microscope sur l’IA : suivez comment Anthropic dévoile la mécanique secrète des modèles de langage. Fascinant et utile !