Compression des LLM : l'IA de poche oublie, bluffe et change de préjugés en silence
Vous avez peut-être déjà fait le geste : télécharger un modèle de langage « quantifié en 4 bits » pour le faire tourner sur votre ordinateur portable, voire sur votre téléphone. Le fichier pèse quatre fois moins lourd, les réponses fusent, et les benchmarks affichés sur la page de téléchargement sont rassurants : « 98 % des performances du modèle original ». Affaire conclue.
Sauf que « 98 % des performances », c'est une moyenne. Et les moyennes ont un talent fou pour cacher les catastrophes locales — comme cette rivière profonde d'un mètre en moyenne dans laquelle on peut tout à fait se noyer.
C'est exactement ce que documente « The Asymmetric Harms of LLM Compression », un papier déposé sur arXiv le 20 août 2026 par Yuan Wu, Mairui Li, Lesia Semenova et Chudi Zhong. Leur constat, après avoir passé 3 modèles et 11 méthodes de compression au peigne fin : la compression ne rabote pas les capacités d'un modèle uniformément. Elle fait oublier des pans entiers de connaissances de façon asymétrique, laisse le modèle sûr de lui quand il se trompe, et déplace ses stéréotypes d'un groupe démographique à l'autre — le tout sans que les métriques globales ne frémissent. Or les modèles compressés sont précisément ceux qui finiront dans nos poches et dans les régions du monde où le matériel haut de gamme est un luxe. Autrement dit : là où l'on démocratise l'IA, on déploie aussi ses dégâts les plus invisibles.
Compresser un modèle, mode d'emploi (et pourquoi tout le monde le fait)
Un LLM de 8 milliards de paramètres, c'est une bibliothèque monumentale dont chaque livre serait écrit à l'encre très fine : des milliards de nombres stockés avec une grande précision. Pour le faire entrer dans une machine modeste, deux grandes familles de techniques existent.
La quantification (quantization) consiste à réécrire tous ces nombres avec moins de décimales — un peu comme réenregistrer une photo en JPEG de plus en plus agressif, ou repeindre un tableau avec une palette de 16 couleurs au lieu de 16 millions. On passe de 16 bits par paramètre à 4, 3, voire 2 bits. L'image reste reconnaissable… jusqu'au moment où elle ne l'est plus.
L'élagage (pruning) prend le problème autrement : plutôt que d'écrire tous les nombres plus grossièrement, on en supprime carrément une partie, comme on taille une haie. On peut couper au hasard des connexions jugées peu importantes (élagage non structuré, ici testé à 30, 50 et 70 % de suppression), couper selon des motifs réguliers que le matériel adore (élagage semi-structuré, motifs « 2:4 » ou « 4:8 » — deux poids conservés sur quatre), ou retirer des étages entiers du bâtiment (élagage structuré, comme ShortGPT qui supprime des blocs complets du réseau).
Les auteurs ont testé 11 de ces méthodes — GPTQ, AWQ, OmniQuant et AQLM pour la quantification ; magnitude, WANDA et SparseGPT pour l'élagage, plus leurs variantes semi-structurées et deux méthodes de suppression de couches — sur trois modèles ouverts très répandus : Llama-3.1-8B-Instruct, Qwen-3-8B et Gemma-2-9B-it. Un vrai inventaire à la Prévert de tout ce qu'on trouve aujourd'hui sur Hugging Face avec un suffixe « -GPTQ » ou « -AWQ ».
La question n'est pas de savoir si ces techniques dégradent le modèle — évidemment, un peu. La question est : où frappent-elles ? Et c'est là que le papier devient fascinant.
Premier dégât : un oubli qui ne frappe pas au hasard
Pour mesurer ce que le modèle oublie, les auteurs utilisent deux jeux de questions factuelles — PopQA (environ 14 000 questions tirées de Wikidata) et Head-to-Tail (18 171 paires question-réponse issues d'IMDb, Goodreads, DBpedia…) — dont la particularité est de classer chaque fait selon sa popularité. D'un côté les connaissances de « tête » (head knowledge) : les faits archi-connus, les célébrités, les capitales. De l'autre les connaissances de « queue » (tail knowledge) : les faits rares, les artistes confidentiels, les articles scientifiques obscurs.
L'intuition voudrait que la compression sacrifie d'abord les faits rares, fragiles, peu renforcés pendant l'entraînement. La réalité mesurée est plus subtile, et c'est le premier résultat contre-intuitif du papier : rapporté à ce que chaque groupe savait au départ, ce sont les connaissances populaires qui trinquent le plus. Les auteurs calculent pour chaque groupe un « décalage de rétention relative » (relative retention shift) : la part de son savoir initial qu'un groupe conserve, comparée à la moyenne du modèle. Sur les 105 combinaisons modèle-configuration testées sur PopQA, le décalage est positif pour la queue dans 104 cas, et négatif pour la tête dans 92 cas. Ce n'est pas une tendance, c'est un raz-de-marée statistique.
Les amplitudes sont loin d'être anecdotiques. Avec un élagage non structuré à 50 %, la queue s'en sort de +16,5 à +28,4 points de pourcentage mieux que la moyenne, pendant que la tête perd jusqu'à 13,8 points. Le cas extrême : Gemma amputé de 10 à 15 % de ses couches par ShortGPT affiche un écart de +52,7 points en faveur de la queue contre −14,4 pour la tête.
Attention à bien lire ce résultat : en valeur absolue, le modèle compressé reste meilleur sur les faits populaires que sur les faits rares — l'ordre n'est pas inversé. Mais la redistribution est bien réelle, et elle est invisible dans la précision moyenne. Deux modèles compressés affichant le même score global peuvent avoir des cartes du savoir complètement différentes. C'est comme comparer deux bibliothèques ayant perdu chacune 20 % de leurs livres : l'une a perdu ses encyclopédies, l'autre ses recueils de poésie confidentiels. Même taux de perte, usages ruinés très différemment.
Et l'hémorragie va vite : même une quantification 4 bits avec GPTQ — le réglage « raisonnable » par excellence, celui de votre modèle local — fait perdre 22 à 35 % des réponses que le modèle original donnait correctement. En compression agressive, on monte à 85-99 %. Ce chiffre mérite qu'on s'y arrête : le modèle Q4 que beaucoup considèrent comme « quasi identique » a en réalité oublié jusqu'à un tiers de ce qu'il savait, des pertes en partie compensées dans les moyennes par des réponses devenues correctes par accident.
Deuxième dégât : l'aplomb de l'élève qui a séché les cours
Oublier, passe encore — si le modèle avait la décence de le signaler. Un « je ne suis pas sûr » vaut mieux qu'une erreur assénée avec assurance. C'est la deuxième question du papier : quand un modèle compressé perd une connaissance, sa confiance (confidence, la probabilité qu'il attribue à sa propre réponse) baisse-t-elle en proportion ?
Réponse : non. Les auteurs isolent le « savoir perdu » (lost-knowledge set) — les questions que le modèle original réussissait et que le modèle compressé rate désormais — et mesurent la confiance sur ces réponses fraîchement fausses. En compression légère à modérée, la confiance médiane sur ces erreurs reste entre 0,4 et 0,6. Le modèle ne murmure pas ses réponses fausses : il les affirme avec l'aplomb d'un élève qui a séché le cours mais soutient le regard du professeur.
Détail savoureux, l'asymétrie se niche jusqu'ici : en quantification 4 bits GPTQ, le modèle est environ 1,2 fois plus confiant dans ses erreurs sur les faits populaires que sur les faits rares. Précisément les questions où l'utilisateur, connaissant vaguement le sujet, sera le plus enclin à croire la machine sur parole.
Les auteurs épinglent au passage un piège de mesure élégant : l'erreur de calibration attendue (Expected Calibration Error, l'écart entre confiance affichée et taux de réussite réel) semble parfois s'améliorer avec la compression. Mais ses plus belles améliorations surviennent quand le modèle s'est effondré — précision et confiance proches de zéro. Un modèle qui ne sait plus rien et le sait est parfaitement calibré ; ce n'est pas pour autant une bonne nouvelle. Encore une métrique agrégée qui raconte une histoire trompeuse.
Troisième dégât : les stéréotypes jouent aux chaises musicales
Le volet le plus dérangeant concerne les biais sociaux. Les auteurs évaluent les modèles sur WinoBias (3 160 phrases testant les associations genre-profession, sur 40 métiers issus des statistiques du travail américaines) et BBQ (58 492 exemples couvrant neuf dimensions sociales : âge, origine, handicap, religion…). Pour chaque modèle, on calcule un score global de préférence stéréotypée, et son évolution après compression.
Verdict apparent : les scores globaux bougent peu. Circulez ? Non — car dès qu'on regarde par sous-groupe démographique, le tableau change du tout au tout. Avec OmniQuant 3 bits sur WinoBias, le biais augmente de 6 points sur les items masculins et diminue de 4 points sur les items féminins : les deux dérives se compensent presque exactement dans la moyenne, qui reste plate. Même mécanique avec ShortGPT à 15 % : +7 points d'un côté, −9 de l'autre, addition proche de zéro. Le score agrégé n'est pas stable parce que rien ne bouge ; il est stable parce que des mouvements opposés s'annulent — deux trains qui se croisent à pleine vitesse, vus de très loin, semblent immobiles.
Les cas extrêmes donnent le vertige. Llama élagué en SparseGPT 2:4 voit sa préférence stéréotypée sur la profession « secretary » chuter de 53,1 points de pourcentage, pendant que le score global ne bouge que de… 2,2 points. Sur BBQ, Qwen amputé de 10 % de ses couches gagne 37,5 points de biais stéréotypé sur la catégorie liée à la trisomie 21, pour une variation globale de −1,2 point. (Les auteurs, rigoureux, publient des intervalles de confiance à 95 % — larges sur les petits sous-groupes, ce qu'ils assument.)
Insistons sur ce que cela signifie concrètement : une équipe qui valide un modèle compressé avec un score de biais global — pratique standard de l'industrie — peut certifier « aucun changement de biais détecté » alors que le modèle est devenu nettement plus stéréotypé envers certains groupes et moins envers d'autres. Le biais n'a pas disparu, il a déménagé sans laisser d'adresse.
Pourquoi ce papier compte
D'abord parce qu'il unifie ce qui était éparpillé. Des travaux antérieurs avaient observé tantôt une amplification des erreurs sous compression, tantôt des améliorations, avec des métriques incompatibles entre elles. Ici, un protocole unique croise 3 modèles, 11 méthodes, deux jeux de connaissances stratifiés par popularité et deux benchmarks de biais — de quoi transformer des anecdotes contradictoires en constat systématique.
Ensuite parce que l'enjeu est massivement sociétal, sous ses airs de tambouille d'ingénieur. Les modèles compressés ne sont pas une niche : ce sont eux qui tournent dans les applications mobiles, les objets connectés, les déploiements à petit budget — c'est-à-dire, tendanciellement, chez les utilisateurs et dans les régions qui n'ont pas accès aux grands modèles hébergés sur des fermes de GPU. La promesse de « démocratisation de l'IA » repose presque entièrement sur la compression. Ce papier montre que cette démocratisation s'accompagne d'une taxe invisible : les versions accessibles de l'IA oublient différemment, bluffent davantage et portent des biais redistribués — sans qu'aucun voyant rouge ne s'allume sur les tableaux de bord habituels.
Enfin parce que la conclusion opérationnelle est limpide et actionnable : « certifier un modèle compressé comme intact sur la seule base de son utilité moyenne est insuffisant ; un déploiement fiable exige une évaluation granulaire, au niveau des sous-groupes », écrivent les auteurs. La perplexité et la précision moyenne — les deux chiffres affichés sur à peu près toutes les fiches de modèles quantifiés — ne suffisent pas. Il faut découper : par popularité des connaissances, par groupe démographique, par niveau de confiance.
Les bémols à garder en tête
Le papier a les qualités de ses limites, que les auteurs listent honnêtement. Un, le périmètre : trois modèles de 8-9 milliards de paramètres, ajustés par instruction. Rien ne garantit que les modèles beaucoup plus grands, d'autres architectures, ou la distillation (entraîner un petit modèle à imiter un grand — l'autre grande voie de la compression, absente de l'étude) se comportent pareil. Deux, le volet biais n'a pas d'équivalent de la calibration : faute de « bonne réponse » naturelle sur WinoBias et BBQ, impossible d'y appliquer l'analyse de confiance de la deuxième question. Trois, tout se passe en anglais, sur des benchmarks américano-centrés — ironie notable pour un sujet dont l'enjeu principal est le déploiement mondial. Les stéréotypes mesurés par BBQ ne sont pas ceux qui importent à Dakar ou à Hanoï.
On peut ajouter un bémol de lecture : le « décalage de rétention » est une mesure relative. Les titres accrocheurs du type « la compression détruit surtout le savoir populaire » doivent être maniés avec précaution — en absolu, le modèle compressé reste meilleur sur les faits célèbres. C'est la redistribution silencieuse, pas l'inversion, qui constitue le résultat.
Ce qu'on va surveiller
La suite logique, ce sont des outils. Si l'évaluation granulaire devient le standard réclamé par ce papier, on peut imaginer que les fiches de modèles sur Hugging Face affichent demain, à côté de la perplexité, un profil de rétention head/tail, une courbe de confiance sur le savoir perdu et des scores de biais par sous-groupe — une sorte d'étiquette nutritionnelle de la compression. Les fournisseurs de modèles quantifiés « officiels » (les versions FP8 ou INT4 publiées par les labos eux-mêmes) seront les premiers à devoir montrer patte blanche.
On surveillera aussi l'extension du protocole à la distillation et aux très petits modèles « edge », dont la pression commerciale explose, et sa traduction réglementaire : les cadres d'évaluation des systèmes d'IA, en Europe notamment, raisonnent encore largement en performances agrégées. Ce papier fournit un argument technique solide pour exiger mieux.
En attendant, la prochaine fois que vous téléchargerez un modèle en Q4 « quasi identique à l'original », vous saurez ce que ce « quasi » peut cacher : jusqu'à un tiers du savoir envolé, de l'assurance intacte sur les réponses fausses, et des préjugés qui ont changé de cible. Le modèle tient dans votre poche ; ses trous de mémoire aussi.
Référence : Yuan Wu, Mairui Li, Lesia Semenova et Chudi Zhong, « The Asymmetric Harms of LLM Compression », arXiv:2608.19670, déposé le 20 août 2026. https://arxiv.org/abs/2608.19670