Est-ce que l’IA voit comme les historiens de l’art ? Quand les modèles expliquent le style… sans forcément expliquer l’émotion
Il y a des œuvres qui nous attrapent sans demander la permission. Une couleur, une torsion de drapé, une lumière un peu trop douce, une forme presque banale, et pourtant quelque chose en nous bouge. Pas toujours besoin de comprendre. Parfois même, on préfère ne pas trop comprendre. On craint qu’en ouvrant la salle des machines, le mystère s’évapore un peu, comme lorsqu’un tour révèle son mécanisme et perd au passage une part de son charme.
C’est précisément pour cela que le papier "Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style" est passionnant. Non parce qu’il prétend résoudre le mystère de l’art — il ne le fait pas — mais parce qu’il pose une question plus fine, plus modeste, et finalement plus intéressante : quand un modèle de vision-langage (VLM, Vision-Language Model) reconnaît un style artistique, sur quoi s’appuie-t-il exactement ? Et surtout : ses critères ressemblent-ils à ceux d’un historien de l’art, ou bien l’IA joue-t-elle à un jeu parallèle, efficace mais étrangement non humain ?
Le papier réunit des informaticiens et des historiens de l’art, ce qui est déjà une bonne nouvelle pour l’humanité. Au lieu de se contenter de mesurer si le modèle "a bon" en classification, les auteurs cherchent à ouvrir la fameuse salle des machines de manière méthodique. Leur intuition est simple : en art, reconnaître un style ne revient pas seulement à repérer un objet. Il faut articuler des indices locaux — texture, couleur, traitement des visages, plis des tissus — et des propriétés plus globales comme la composition. C’est ce mélange de forme et de contenu qui rend le problème intéressant, et redoutable.
Ce que le papier cherche vraiment à savoir
Les auteurs posent trois questions de recherche très nettes. D’abord : quels concepts visuels les modèles utilisent-ils pour prédire un style ? Ensuite : ces concepts ressemblent-ils aux critères mobilisés par des historiens de l’art ? Enfin : quand il y a désalignement entre l’IA et l’expertise humaine, à quoi ressemble-t-il ?
Dit autrement, l’enjeu n’est pas de savoir si la machine “a du goût”. Il est de savoir si, lorsqu’elle dit “Renaissance”, “Baroque” ou “Cubisme”, elle le dit pour des raisons qu’un humain expert reconnaîtrait comme légitimes, ou si elle s’appuie sur des régularités visuelles plus obscures, peut-être efficaces statistiquement, mais peu parlantes d’un point de vue esthétique ou historique. Le papier formule cette tension de manière très juste : les modèles ont-ils appris à voir “comme des experts humains”, ou selon une logique qui leur est propre, “perhaps even a fundamentally nonhuman worldview?”
Cette phrase mérite qu’on s’y arrête. Elle déplace bien le débat. Le danger n’est pas seulement qu’une IA se trompe. Le danger, ou au moins l’étrangeté, c’est qu’elle ait raison pour de mauvaises raisons. Et dans l’art, les "bonnes raisons" comptent énormément.
La méthode : faire émerger les concepts que le modèle active
Pour répondre à ces questions, les auteurs commencent par tester plusieurs grands modèles de vision-langage sur une tâche de classification de styles artistiques. Ils utilisent trois jeux de données : un ensemble WikiArt "Early Modern" (Renaissance, Baroque, Rococo, etc.), un ensemble WikiArt "Modern" (Cubisme, Fauvisme, Minimalisme, etc.) et un jeu de données d’architecture (Gothique, Byzantin, Roman, etc.). Les styles sont volontairement proches pour rendre la tâche plus difficile et plus intéressante.
Parmi les modèles testés, GPT-5 et Qwen3 obtiennent les meilleures performances globales, avec un net décrochage pour d’autres modèles comme Molmo2 ou Llava-1.5. Les modèles s’en sortent mieux sur l’architecture que sur WikiArt, ce qui suggère que distinguer des styles picturaux voisins est particulièrement délicat. Les auteurs notent d’ailleurs que certaines étiquettes de style dans WikiArt sont elles-mêmes discutables du point de vue des experts : autrement dit, même le “corrigé” n’est pas parfaitement stable.
Le cœur du papier arrive ensuite. Les auteurs reprennent une approche d’interprétabilité fondée sur la décomposition de l’espace latent du modèle. En clair, ils regardent les représentations internes produites par le modèle lorsqu’il doit prédire un style, puis ils les décomposent en concepts plus lisibles. Techniquement, ils utilisent une méthode appelée Semi-NMF (Semi-Nonnegative Matrix Factorization, c’est-à-dire une factorisation matricielle semi-non négative), déjà employée ailleurs pour faire émerger des concepts dans les modèles vision-langage.
L’idée très maligne consiste à ne pas travailler seulement sur l’image entière, mais à découper chaque image en patches, en petits carrés. Pourquoi ? Parce qu’en art, le style se niche souvent dans des détails dispersés : une matière, un contraste, un type de contour, une façon de traiter le ciel, la peau ou le drapé. Les auteurs écrivent que cette approche par patches permet de "localize image features", autrement dit de mieux situer les indices visuels que le modèle exploite réellement.
Ensuite, ils entraînent un classifieur linéaire sur ces activations de concepts pour vérifier une chose essentielle : peut-on prédire la décision du modèle à partir des seuls concepts extraits ? Si oui, ces concepts ne sont pas décoratifs ; ils capturent vraiment la logique de décision du système.
La réponse est oui, assez massivement. Les concepts extraits à partir des couches tardives permettent de prédire la sortie du modèle avec une très forte précision, jusqu’à 0,95 dans leurs expériences. Même en binarisant les activations — autrement dit en ne gardant que les concepts les plus actifs — la performance reste élevée, autour de 0,85. Ce n’est donc pas une jolie visualisation après coup : c’est un résumé crédible de ce que le modèle utilise réellement.
Les résultats les plus intéressants : l’IA ne raconte pas n’importe quoi
Le papier devient particulièrement fort lorsqu’il quitte la pure technique pour faire intervenir des historiens de l’art. Et là, bonne surprise : le modèle ne semble pas reposer sur un fatras incompréhensible.
Dans une première étude, six historiens de l’art examinent les concepts extraits. Pour chaque concept, ils voient les 24 patches qui l’activent le plus, proposent des étiquettes descriptives et évaluent sa cohérence. Résultat : 93 concepts sur 128, soit 73 %, sont jugés suffisamment cohérents et sémantiquement interprétables.
Ce chiffre est important. Il ne dit pas que le modèle "comprend l’art" au sens fort. Il dit quelque chose de plus précis : une bonne partie des structures internes qu’il mobilise correspond à des regroupements visuels que des experts humains trouvent eux-mêmes consistants. Les concepts identifiés couvrent à la fois le contenu et la forme : objets, scènes, présence de figures, mais aussi palette colorée, texture, lumière, traitement des volumes.
Dans une deuxième étude, les auteurs vont plus loin. Ils montrent à cinq historiens de l’art une œuvre, la prédiction de style du modèle, et plusieurs concepts associés. Les experts doivent dire si ces concepts sont visibles dans l’œuvre et s’ils sont pertinents pour expliquer le style. Là encore, les résultats sont frappants : seuls 6 % des concepts fortement activés sont jugés absents de l’œuvre, et 90 % des concepts considérés par le modèle comme pertinents pour la prédiction sont jugés pertinents par les historiens de l’art.
C’est probablement le résultat central du papier. Il suggère que, dans beaucoup de cas, les modèles ne classent pas les styles en trichant grossièrement. Ils s’appuient bel et bien sur des indices visuels qui font sens du point de vue humain.
Mais le papier est plus subtil que le triomphalisme habituel. Il montre aussi que les concepts extraits ne sont pas tous des concepts de "style" au sens strict. Beaucoup relèvent plutôt de la forme ou du contenu, et parfois d’un mélange des deux. Les auteurs le disent explicitement : "relatively few concepts seem primarily bound by a specific style". Autrement dit, un style n’apparaît pas dans le cerveau du modèle comme un bouton unique marqué "Rococo". Il se recompose à partir d’indices partiels, parfois très concrets.
La magie opére-t-elle toujours ?
L’art ne se réduit pas à ses critères, et l’expérience esthétique ne se laisse pas épuiser par l’explication.
La première question est : comment un modèle reconnaît-il un style ? La seconde, bien plus vertigineuse, est : pourquoi une œuvre nous émeut-elle ? Le papier répond à la première, pas à la seconde. Et cette distinction est capitale.
Ce que les VLMs commencent à expliquer, ce n’est pas l’émotion esthétique elle-même, mais une partie de la grammaire visuelle à partir de laquelle ils classent les œuvres. Ils deviennent capables d’identifier des régularités, des familles de formes, des associations entre contenu, lumière, texture et période. Mais cela n’équivaut pas à expliquer ce qui, dans une œuvre, vous atteint personnellement, intimement, à cet endroit de l’âme où le commentaire savant devient soudain secondaire.
Même mieux : le papier montre que lorsque l’IA et l’historien de l’art divergent, la divergence est instructive. Dans certains cas, un concept jugé peu pertinent par des experts fonctionne quand même pour le modèle. Pourquoi ? Parce que le modèle capte peut-être quelque chose de plus formel, par exemple un jeu de contraste clair/obscur, là où l’humain voit surtout un contenu iconographique. Les auteurs donnent ce type d’exemple explicitement : un concept apparemment "hors sujet" peut réussir parce que le modèle le "comprend" sous un angle formel, comme des contrastes de lumière.
Autrement dit, ouvrir la salle des machines n’ôte pas forcément la magie. Cela révèle surtout que la machine n’entre pas toujours par la même porte que nous. Expliquer une part des régularités d’une œuvre n’est pas nécessairement dissoudre l’émotion qu’elle produit. On peut très bien savoir comment un clair-obscur guide le regard sans annuler ce qu’il nous fait ressentir. De la même manière qu’une partition n’épuise pas la musique, une carte des indices stylistiques n’épuise pas l’expérience d’une œuvre.
La vraie question n’est donc peut-être pas : “Veut-on que l’IA explique pourquoi l’art nous émeut ?” Elle serait plutôt : qu’accepterions-nous comme explication ? Une explication technique des motifs visuels ? Sans doute oui, parfois utilement. Une explication existentielle de notre trouble devant une œuvre ? Là, le papier invite à rester modeste. Nous en sommes très loin, et peut-être est-ce heureux.
Pourquoi ce travail compte au-delà de l’histoire de l’art
Ce papier dépasse largement le seul commentaire esthétique. Pour l’IA appliquée, il montre qu’on peut aller au-delà du simple score de performance et demander au modèle de rendre des comptes sur ses critères. C’est crucial dans tous les domaines où l’image compte : médecine, industrie, patrimoine, création assistée, modération, recherche visuelle. Comprendre ce que voit le modèle quand il dit voir devient un enjeu central.
Pour les développeurs et les data scientists, le message est limpide : une bonne précision ne suffit pas. Il faut aussi savoir si le modèle s’appuie sur des concepts robustes, localisables, plausibles. Ici, les auteurs combinent corrélation, intervention causale et validation humaine. C’est une démarche exemplaire parce qu’elle évite deux pièges fréquents : l’adoration béate du benchmark et la fascination pour des visualisations jolies mais peu probantes.
Même côté création de jeux vidéo ou d’outils créatifs, il y a matière à réfléchir. Imaginez un système capable non seulement de générer "dans le style de", mais d’indiquer quels éléments visuels font basculer une scène vers le romantisme, le gothique ou le minimalisme. Pour de la direction artistique assistée, de la documentation de références, ou des outils pédagogiques, c’est très prometteur. À condition, évidemment, de ne pas confondre assistance stylistique et jugement esthétique total. Aucun moteur, même très bien réglé, ne remplacera le moment où un joueur, un visiteur ou un lecteur s’arrête net devant une image en se disant : je ne sais pas pourquoi, mais ça me parle.
Conclusion : l’IA peut commenter le style, pas confisquer le vertige
Ce papier est intéressant parce qu’il refuse les slogans. Il ne dit ni "l’IA comprend l’art", ni "l’IA n’y comprend rien". Il dit quelque chose de plus honnête : les modèles de vision-langage apprennent des concepts visuels souvent cohérents, souvent proches des critères mobilisés par des historiens de l’art, mais pas identiques à eux. Ils voient parfois comme nous, parfois de travers, parfois autrement. Et ce "autrement" est précisément ce qu’il faut étudier.
C’est une très bonne nouvelle pour la recherche en interprétabilité, et une assez bonne nouvelle pour les amoureux de l’art. Car ce que le papier démonte, ce n’est pas la magie. C’est seulement une partie de la mécanique de classification. Le vertige, lui, tient encore bon.
Et franchement, c’est peut-être mieux ainsi. On peut laisser aux modèles le soin de repérer le drapé, la texture, le clair-obscur et la distribution des styles. Quant à savoir pourquoi une simple tache de couleur nous serre la gorge un mardi soir sans prévenir, je propose qu’on n’abandonne pas tout de suite ce dossier à un tableur, même très motivé.
Source
- Marvin Limpijankit, Milad Alshomary, Yassin Oulad Daoud, Amith Ananthram, Tim Trombley, Elias Stengel-Eskin, Mohit Bansal, Noam M. Elcott, Kathleen McKeown, “Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style”, arXiv:2603.11024v1, 11 mars 2026.