Self-play multilingue : quand un LLM joue contre lui-même, la langue décide qui gagne

Imaginez un joueur d'échecs de bon niveau. Vous le faites jouer contre son jumeau parfait : même cerveau, mêmes souvenirs, mêmes réflexes. Une seule différence : l'un reçoit la position et annonce ses coups en anglais, l'autre en hébreu. Si les deux étaient vraiment identiques, la partie devrait finir à peu près à 50/50 sur un grand nombre de manches. Ce n'est pas ce qui se passe. Le jumeau anglophone gagne, systématiquement. Pire : le jumeau hébréophone confond les lignes et les colonnes, oublie des stratégies qu'il connaît pourtant par cœur, et bluffe n'importe comment au poker.

C'est l'expérience que propose « Skill Issue: Are Skills Language-Invariant in LLMs? », déposé sur arXiv le 26 août 2026 par Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman, Cheston Tan et Leshem Choshen. Sauf que le joueur est un modèle de langage, et que les jumeaux sont deux copies du même modèle. Le titre reprend une expression de gamers (skill issue : « c'est toi le problème, pas le jeu ») et résume la thèse : en plus de trous de connaissances selon la langue, les LLM ont des trous de compétences.

Connaissances vs compétences

On savait déjà que les grands modèles de langage sont inégaux d'une langue à l'autre. Demandez la capitale d'un pays obscur en anglais, puis en swahili : la réponse peut changer. Les chercheurs parlent d'inconsistance cross-linguale des connaissances (cross-lingual knowledge inconsistency) : une information apprise dans une langue reste parfois compartimentée, inaccessible depuis une autre.

Ce papier pose une question différente, et plus gênante. Oublions les faits. Prenons une capacité pure, comme savoir qu'au morpion trois cases alignées font une ligne, ou savoir compter des allumettes. Rien de culturel là-dedans, rien de factuel, rien qui devrait dépendre de la langue. Un modèle qui sait raisonner spatialement en anglais devrait savoir le faire en arabe. Est-ce le cas ?

Le problème, c'est que les benchmarks classiques mélangent tout. Un score plus faible sur un QCM en hébreu peut venir d'une compréhension moins bonne de la question, d'une connaissance manquante, d'une traduction bancale, ou d'un vrai déficit de raisonnement. Pour isoler la compétence, il faut un dispositif où tout est identique sauf la langue.

Le protocole : deux clones, un plateau, une seule variable

La réponse des auteurs, c'est le self-play multilingue. Deux instances du même modèle s'affrontent dans un jeu textuel. Le modèle est le même, l'adversaire est le même (c'est lui-même !), les règles, l'espace d'états et les actions possibles sont identiques. Seule la langue de l'interface change : la langue dans laquelle chaque joueur reçoit la description du plateau, les règles et les messages, et dans laquelle il réfléchit avant de jouer.

Si la langue n'avait aucun effet, la marge victoire-défaite entre les deux clones devrait tourner autour de zéro. Tout écart mesurable est donc, par construction, un effet de la langue.

L'équipe a construit pour cela une extension multilingue de TextArena, une plateforme existante qui regroupe plus d'une centaine de jeux textuels compétitifs. Six jeux ont été retenus, chacun testant une facette différente de ce qu'on appelle « jouer intelligemment » :

Nim : plusieurs tas d'objets, on en retire à tour de rôle, le dernier à jouer gagne (ou perd selon la variante). Il existe une stratégie mathématique parfaite, la nim-sum : un test idéal pour savoir si le modèle « connaît » la solution et sait l'appliquer.
Tic Tac Toe (le morpion) : information parfaite, raisonnement spatial élémentaire.
Simple Tak : un jeu de plateau spatial plus complexe qui demande de la planification.
Kuhn Poker : un poker miniature à trois cartes (valet, dame, roi), information imparfaite, bluff.
Colonel Blotto : allocation simultanée de troupes sur plusieurs champs de bataille, un classique de la théorie des jeux.
Dilemme du prisonnier itéré : coopération et trahison sur plusieurs manches.

Huit langues forment le cœur de l'étude (Tier A) : anglais, arabe, allemand, espagnol, français, hébreu, malais et chinois. Les auteurs voulaient qu'au moins deux langues partagent chaque caractéristique (même famille typologique, même écriture, même aire culturelle, ordre de grandeur de locuteurs) pour pouvoir démêler les facteurs. Les traductions des six jeux ont été produites par Claude Opus 4.8 ou GPT-5.2, puis vérifiées par des locuteurs natifs. Au-delà, un pipeline automatique de traduction et de back-translation (on retraduit vers l'anglais et on vérifie qu'on retombe sur ses pieds) étend la plateforme à 42 langues supplémentaires (Tier B) puis 142 autres (Tier C), soit 192 langues au total. Cet outil survivra probablement au papier.

Certains éléments restent volontairement identiques dans toutes les langues : les symboles du plateau, les coordonnées, les rangs des cartes, les nombres et la syntaxe des actions (par exemple [bet] ou [1]). Le modèle doit rendre son coup final entre \boxed{} pour que l'environnement puisse le lire. S'il soumet une action invalide, il a droit à une seconde chance ; s'il se trompe encore, la partie est perdue sur-le-champ.

Trois modèles à poids ouverts, tous autour de 4 milliards de paramètres, passent sur le gril : Gemma-4-E4B-it, Qwen3-4B et Ministral3-3B-Instruct-2512. Le volume est considérable : 400 parties par direction d'assignation, soit 28 800 parties par couple modèle-jeu, et 518 400 parties au total. On est loin de l'anecdote.

La métrique principale est la marge victoire-défaite : (victoires − défaites) / nombre de parties, entre −1 et +1, en fusionnant les deux rôles (joueur 1 et joueur 2) pour neutraliser l'avantage de celui qui commence. On calcule ensuite, pour chaque langue, sa marge moyenne contre toutes les autres.

Verdict : l'anglais domine, l'hébreu trébuche

Le résultat principal tient en une phrase du papier : l'anglais est « constamment fort et l'hébreu faible », et ce sur les trois modèles. L'ampleur varie beaucoup, en revanche. Qwen3-4B présente la hiérarchie la plus tranchée ; Gemma est le plus stable d'une langue à l'autre ; Ministral se situe entre les deux.

Le jeu le plus sensible à la langue est, de loin, Colonel Blotto : l'écart entre la meilleure et la pire langue atteint en moyenne 1,07 point de marge (sur une échelle qui va de −1 à +1 !), avec 1,48 pour Qwen et 1,28 pour Ministral, contre 0,44 pour Gemma. Autrement dit, chez Qwen, la version du modèle qui parle la « bonne » langue écrase quasi systématiquement celle qui parle la « mauvaise », alors qu'il s'agit de répartir des troupes sur des champs de bataille, une tâche purement numérique. Viennent ensuite Nim (0,45), le morpion et Simple Tak (0,38 chacun), le dilemme du prisonnier (0,34). Le Kuhn Poker ferme la marche (0,13) : la chance des cartes y lisse beaucoup de choses.

Autopsie des défaites : où la langue fait dérailler le raisonnement

Les auteurs ne se contentent pas de compter les points ; ils ouvrent le capot pour voir comment le modèle perd.

Au morpion et à Simple Tak, les parties perdues en anglais se répartissent de manière équilibrée entre défaites sur une ligne, une colonne ou une diagonale. En arabe et en hébreu, les défaites penchent nettement vers les colonnes et les diagonales. En lisant les trajectoires, l'équipe observe un « étiquetage erroné fréquent de séquences de cases comme des lignes » : le modèle, qui lit un plateau décrit dans une écriture de droite à gauche, se trompe sur ce qui est aligné. Savoir « voir trois cases en ligne » dépend donc de la langue.

Au Kuhn Poker, le taux de bluff avec la carte la plus faible (le valet) « varie de plus du double » selon la langue pour Qwen. Gemma, lui, montre sa plus grande variation sur la dame, la carte intermédiaire, celle où la décision est la plus délicate. Même modèle, mêmes cartes, mais une personnalité de joueur différente selon la langue du prompt.

L'analyse la plus parlante concerne Nim. Les auteurs mesurent trois choses : le modèle mentionne-t-il la stratégie optimale (la nim-sum) dans son raisonnement ? Joue-t-il le premier coup optimal ? Gagne-t-il ? Pour Qwen et Ministral, les trois indicateurs « chutent brutalement en arabe et en hébreu ». Plus frappant encore : la majorité des mentions de la stratégie qui subsistent dans ces langues proviennent de la petite fraction de parties où le modèle a spontanément basculé vers l'écriture latine en cours de raisonnement. La stratégie est bien là, quelque part dans les poids du modèle ; elle n'est simplement pas accessible de façon fiable depuis chaque langue. C'est un peu comme si vous ne pouviez retrouver votre code de carte bleue qu'en le pensant en anglais.

La chute : changer la langue de la réflexion, pas celle de l'interface

Si la stratégie existe mais reste hors de portée dans certaines langues, peut-on la récupérer sans toucher à l'interface ? Les auteurs testent une intervention minimale. L'interface reste dans la langue faible (l'utilisateur, lui, ne voit rien changer), mais le modèle reçoit la consigne de raisonner dans une autre langue avant de rendre son coup.

Sur les jeux spatiaux, le résultat (Table 3) est net. Avec Gemma et une interface en allemand au morpion, la marge moyenne est de −0,22. En demandant au modèle de raisonner en anglais (tout en continuant à lire et écrire en allemand), la marge grimpe à +0,20. Selon la formule de récupération des auteurs, (μ − μ_faible) / (μ_meilleur − μ_faible), cela représente 89,4 % de l'écart comblé avec le plafond anglais. Sur Simple Tak, on passe de −0,21 à +0,05, soit 60,5 % de récupération.

La langue choisie pour réfléchir compte aussi : raisonner en espagnol au lieu de l'anglais ne récupère que 17 % au morpion et 11,6 % sur Simple Tak. Changer de langue ne suffit pas ; il faut passer par celle où la compétence est la mieux ancrée.

Au Kuhn Poker (interface chinoise), en revanche, la récupération plafonne entre 37,6 % et 49,3 % et ne suit pas un ordre monotone. Les auteurs en concluent que la sensibilité à la langue peut intervenir à différents stades du processus de décision. Parfois, c'est le raisonnement intermédiaire qui déraille, et changer sa langue suffit. Parfois, le mal est plus en amont, dans la lecture de la situation, et la rustine ne suffit pas.

Pourquoi ce papier compte

D'abord parce qu'il déplace la question de l'équité linguistique. On parlait de modèles qui « savent moins de choses » dans les langues peu dotées ; on parle maintenant de modèles qui raisonnent moins bien. Pour un utilisateur, la différence est concrète : au-delà des faits manquants, c'est la qualité du raisonnement qui baisse, y compris sur des tâches sans rapport avec la culture ou l'encyclopédie.

Ensuite parce que le dispositif est propre. La grande difficulté des évaluations multilingues, c'est le facteur de confusion : traductions imparfaites, différences culturelles, tâches biaisées. Le self-play retire l'adversaire de l'équation et ramène la mesure à un test direct : à conditions égales, qui gagne ?

Le papier apporte aussi une leçon sur la lecture des benchmarks. Les classements de langues obtenus par self-play sont bien corrélés avec ceux de benchmarks statiques comme Global MMLU (r de Pearson entre 0,73 et 0,92 selon le modèle) ou Belebele (0,71 à 0,79). Mais une bonne moyenne ne garantit pas la cohérence : Gemma a le score Global MMLU le plus bas des trois (49,9 %) et pourtant l'écart entre langues le plus faible ; Qwen affiche 61,9 % et un écart bien plus large. « Bon en moyenne » et « équitable entre langues » sont deux qualités distinctes, et les fiches techniques ne mesurent que la première.

Enfin, l'explication par les données d'entraînement est instructive mais incomplète. La quantité de texte disponible sur le web (mesurée via FineWeb-2) prédit assez bien les performances (r moyen de 0,79), avec des exceptions révélatrices. Le malais, qui a le plus petit corpus des huit langues, fait mieux que prévu pour les trois modèles et bat systématiquement l'hébreu. Explication proposée : il s'écrit en alphabet latin, ce qui favoriserait un transfert depuis l'anglais. Le chinois, avec environ vingt fois moins de texte web que l'anglais, atteint des marges quasi anglaises chez Qwen et Ministral, mais reste proche de zéro chez Gemma. Le volume de données et l'écriture expliquent une partie de la variance ; le reste est propre à chaque modèle, donc à sa recette d'entraînement.

Les bémols, reconnus par les auteurs

Le papier est clair sur ses limites, et il faut les garder en tête avant de généraliser.

Tout est mesuré sur des modèles de 3 à 4 milliards de paramètres, choisis parce qu'ils rendent tractable un demi-million de parties. Les auteurs préviennent que l'inconsistance « peut différer pour des modèles plus grands » et que les résultats « ne doivent pas être interprétés comme établissant des effets invariants à l'échelle ». Un modèle frontière lisse peut-être une partie de ces écarts ; il en garde peut-être d'autres, plus subtils. On ne sait pas.

Les trois modèles sont par ailleurs closed-data : on connaît les poids, pas le corpus. Impossible donc d'expliquer mécaniquement pourquoi Gemma est plus stable ou pourquoi Qwen excelle en chinois. Les auteurs ont tenté d'utiliser Apertus, un modèle dont la recette de pré-entraînement est publique, mais il produisait trop de coups invalides pour donner un score exploitable. Le modèle le plus transparent est donc celui qu'on ne peut pas évaluer.

Les observations les plus savoureuses (le mésétiquetage des lignes, le basculement spontané vers l'écriture latine) sont décrites qualitativement dans le texte principal ; pour les taux exacts par langue, il faut aller chercher dans les figures et annexes. De même, le résumé annonce une variation systématique des actions invalides selon la langue, mais le corps du texte s'attarde surtout sur les parties valides.

Le français, enfin, fait partie des huit langues évaluées mais ne fait l'objet d'aucun commentaire particulier. On devine qu'il se situe dans le peloton des langues latines bien dotées, sans que le papier le confirme noir sur blanc.

Ce qu'on va surveiller

Ce papier ouvre au moins trois pistes.

La première est pratique et immédiate : si demander au modèle de « réfléchir en anglais » récupère 89 % de l'écart au morpion, les concepteurs d'applications multilingues ont là un levier gratuit, et les concepteurs de modèles une piste pour l'entraînement (raisonner dans une langue pivot, puis traduire). Reste à savoir si cette rustine tient sur des tâches réelles, plus riches qu'un plateau 3×3, et si elle ne renforce pas au passage l'hégémonie de l'anglais comme langue de pensée des machines.

La deuxième est méthodologique : la plateforme à 192 langues est disponible pour tester d'autres modèles, en particulier les grands. « Est-ce que l'échelle règle le problème ? » est la première question que tout le monde voudra poser.

La troisième est plus philosophique. Le papier montre qu'un modèle peut « posséder » une compétence sans pouvoir l'exercer depuis toutes ses langues. La compétence ne serait donc pas stockée dans un module abstrait indépendant de la surface linguistique ; elle resterait, au moins en partie, entrelacée avec la langue dans laquelle elle a été apprise. Les neurosciences se posent cette question depuis longtemps à propos des humains bilingues. Voir les LLM y répondre, à leur manière, avec des parties de morpion, est un joli retournement.

Référence : Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman, Cheston Tan, Leshem Choshen, « Skill Issue: Are Skills Language-Invariant in LLMs? », arXiv:2608.25832, déposé le 26 août 2026. https://arxiv.org/abs/2608.25832