Sophistication in GenAI Use — Sophistication de l'usage de la genAI : 713 564 prompts d'une grande entreprise passés au crible, et ce sont les seniors qui gagnent
Imaginez qu'on puisse lire par-dessus l'épaule de 4 000 collègues pendant huit mois. Pas pour espionner leurs pauses café, mais pour observer une chose précise : ce qu'ils tapent dans la petite boîte de dialogue de l'assistant IA fourni par leur employeur. Qui écrit « résume ça » et colle un mail de trois lignes ? Qui rédige un brief de vingt lignes avec un rôle, des contraintes, un format de sortie et une demande de vérification ? Et surtout : est-ce que les gens s'améliorent avec le temps ?
C'est exactement l'expérience qu'ont menée quatre chercheurs en gestion, avec un accès rarissime aux données internes d'un grand cabinet de services professionnels. Le verdict tient en trois phrases qui vont faire grincer des dents dans les services RH : les seniors s'y prennent mieux que les juniors, certaines fonctions sont nettement plus habiles que d'autres, et ni la pratique ni la formation officielle ne semblent changer la donne. Bienvenue dans la vraie vie de l'IA au bureau, loin des démos.
Un accès de rêve : l'open space comme laboratoire
Le papier, Sophistication in GenAI Use: Field Evidence from a Large Firm, signé Nicholas J. Hallman, Zachary T. Kowaleski, Anu Puvvada et Jaime J. Schmidt et déposé sur arXiv le 27 août 2026, repose sur des données propriétaires du cabinet KPMG LLP. Le terrain : les fonctions dites de back-office, c'est-à-dire tout ce qui ne facture pas de clients. Comptabilité, informatique, marketing, conformité, stratégie, services administratifs… quinze « aires fonctionnelles » au total, et 3 925 employés observés de janvier à août 2025.
Le cabinet met deux outils à disposition. D'un côté, Microsoft Copilot, dont les chercheurs ne voient que la fréquence d'utilisation, pas le contenu. De l'autre, un outil maison baptisé aIQ Chat : une interface de chat qui donne accès à un menu de modèles (Claude 3.5 Sonnet d'Anthropic, GPT-4o et o1 d'OpenAI, Gemini de Google, Llama de Meta). C'est là que se trouve la mine d'or : 158 496 conversations, soit 713 564 prompts et leurs réponses, intégralement lisibles.
Premier constat, presque anecdotique mais révélateur : l'adoption est massive. 83,9 % des mois-employés comportent au moins un usage de l'un des deux outils, contre 32,1 % dans les enquêtes nationales citées par les auteurs. Copilot grimpe même de 71,0 % en janvier à 82,8 % en août. Mais ne vous y trompez pas : cette adoption est très concentrée. Un employé actif ouvre en moyenne 40 conversations sur la période, la médiane n'est qu'à 14, et le décile le plus assidu génère à lui seul 51 % des conversations. L'IA au bureau, c'est une poignée de gros utilisateurs et une majorité de curieux occasionnels.
Qu'est-ce qu'un usage « sophistiqué » ? Trois thermomètres
Toute la valeur du papier tient dans sa définition de la sophistication, un mot qui aurait pu rester un concept flou de consultant. Les auteurs la décrivent comme « une utilisation compétente, informée par une compréhension du fonctionnement de l'outil et de ses applications ». Concrètement, ils la découpent en trois dimensions, chacune avec sa propre mesure.
La clarté (CLARITYZ). Un prompt clair, c'est un ordre de mission bien rédigé : complexité linguistique, structure, spécificité, précision du format attendu. Neuf variables sont notées, standardisées (le « Z » du nom désigne un z-score, c'est-à-dire une mise à l'échelle où zéro est la moyenne de l'entreprise) puis moyennées. Pour donner une idée du niveau ambiant : 24,3 % des conversations contiennent des contraintes explicites, mais seulement 2,9 % demandent un format de sortie structuré et 1,0 % précisent des critères d'acceptation. Autrement dit, la plupart des gens disent quoi faire, très peu disent à quoi ressemblera un bon résultat.
Les stratégies délibérées (ANY STRAT). C'est la boîte à outils du prompteur averti : demander au modèle de jouer un rôle (role prompting), lui donner des exemples (few-shot), lui faire dérouler son raisonnement (chain-of-thought), lui faire vérifier sa propre réponse (self-check), ou raffiner itérativement. Le chiffre qui pique : le role-play apparaît dans 4,4 % des conversations, et chacune des autres techniques dans moins de 1 %. Les recettes qui circulent dans tous les tutoriels LinkedIn sont, sur le terrain, quasi inexistantes.
La diversité des usages (USE DIV). Un utilisateur sophistiqué ne se sert pas du LLM que pour reformuler ses mails. La mesure est une entropie de Shannon normalisée, une façon savante de dire « à quel point vos usages sont répartis entre plusieurs catégories plutôt que concentrés sur une seule ». Huit catégories sont distinguées, et la rédaction (Writing) écrase tout avec 73,3 % des conversations, devant la recherche d'information (23,0 %), l'analyse de texte (10,7 %), l'aide logiciel (9,9 %) et le code ou l'analyse de données (7,3 %). Les requêtes personnelles ne pèsent que 1,9 %, essentiellement des questions de voyage et d'agenda dans les services administratifs.
Le juge est lui-même une IA
Comment note-t-on 158 496 conversations ? Certainement pas à la main. Les chercheurs ont confié le travail à un LLM, en l'occurrence OpenAI o1, à qui chaque transcription est soumise avec un « métaprompt » : une grille d'évaluation détaillée qui demande au modèle de scorer la complexité (de 1 à 5), la spécificité, la clarté du format, la présence de chaque stratégie, la catégorie d'usage, etc. C'est le principe du LLM-as-a-judge, une IA qui note les conversations d'autres IA.
L'analogie la plus juste : un correcteur de copies auquel on a fourni un barème très précis, et dont on a vérifié les corrections sur des lots pilotes avant de le lâcher sur toute la pile. Les auteurs décrivent une calibration itérative, avec un suivi des cas de désaccord et une équipe de recherche gardant « l'autorité finale sur toute révision ». On y reviendra dans les bémols, car un détail manque cruellement à ce tableau.
Résultat n°1 : l'ancienneté paie, même pour parler à une machine
Les employés sont classés en trois strates : staff (les collaborateurs sans responsabilité hiérarchique), managers, et au-dessus des managers. Sur les trois thermomètres, la courbe monte avec le grade. En clarté, les staff sont à −0,056 sous la moyenne de l'entreprise, les managers à +0,023, les niveaux supérieurs à +0,036. Même ordre pour les stratégies (−0,009 / +0,002 / +0,007) et pour la diversité (−0,011 / +0,002 / +0,009). Les écarts sont modestes en valeur absolue, mais systématiques et statistiquement significatifs.
Ce qui rend le résultat intéressant, c'est qu'il ne s'explique pas par l'intensité d'usage. Les seniors n'ouvrent pas plus de conversations dans aIQ Chat, l'usage y est « relativement plat » selon les grades ; ils utilisent en revanche davantage Copilot. Ce n'est donc pas la pratique intensive qui rend sophistiqué, c'est autre chose.
Les auteurs avancent deux hypothèses, et l'une comme l'autre sont parlantes. La première : les seniors ont une plus grande « compétence de délégation ». Ils ont passé des années à briefer des juniors, à préciser des objectifs, à relire des livrables intermédiaires, à renvoyer un travail avec des commentaires. Or briefer un LLM, c'est exactement ça. Le prompt sophistiqué est un brief de stagiaire bien écrit. La seconde : l'imputabilité. Un senior qui signe un document engage sa responsabilité, il a donc plus d'intérêt à clarifier la demande et à vérifier la réponse. Dans les deux cas, la conclusion du papier est la même : « l'usage sophistiqué de la genAI peut refléter une expérience professionnelle plus large, et pas seulement une expertise de la genAI ».
Le contenu des usages diffère aussi. Les staff penchent vers la rédaction et les requêtes personnelles, les managers font davantage de code et d'analyse de données, et les niveaux supérieurs sont les plus gourmands en recherche d'information et de connaissances.
Résultat n°2 : dis-moi ton service, je te dirai ton prompt
L'écart entre fonctions est bien plus spectaculaire qu'entre grades. Trois services trustent le haut du classement en clarté : Stratégie (+0,303), Innovation digitale (+0,302) et Gestion de projet (+0,122), qui affichent aussi la plus grande diversité d'usages. À l'autre extrémité, Comptabilité & Finance plonge à −0,311, suivie des Services administratifs à −0,159. La comptabilité est d'ailleurs la seule fonction significativement sous la moyenne sur toutes les mesures, y compris l'adoption.
Le point commun des trois champions, relèvent les auteurs, est leur mission : piloter des initiatives transversales et la transformation de l'organisation. Ce sont des métiers de synthèse, d'arbitrage et de communication, où l'on passe ses journées à cadrer des problèmes ouverts. À l'inverse, la comptabilité travaille sur des processus normés, dans des logiciels métier fermés, avec une tolérance au risque d'erreur proche de zéro. On peut y voir une mauvaise volonté, mais aussi une lucidité : quand la réponse doit être exacte au centime, un chatbot généraliste n'est peut-être pas le bon outil, et l'écart de sophistication refléterait autant la nature des tâches que le talent des équipes.
Résultat n°3 : huit mois plus tard, personne n'a progressé
C'est le résultat qui donne son sel au papier. On pourrait s'attendre à une courbe d'apprentissage : en janvier on tâtonne, en août on est devenu un prompteur aguerri. Rien de tel. Les auteurs écrivent noir sur blanc : « nous n'observons pas l'usage de la genAI par les employés devenir plus sophistiqué sur la période de huit mois ». La clarté frémit à peine (janvier à −0,078, février à −0,031, puis oscillation autour de zéro), les stratégies et la diversité restent stables. Et cela alors que l'adoption, elle, progresse.
Plus troublant encore, l'expérience cumulée ne semble pas jouer. Le nombre de jours d'utilisation par mois est même associé négativement, quoique faiblement, au recours aux stratégies (−0,018), une association qui disparaît une fois qu'on compare chaque employé à lui-même. Utiliser l'outil tous les jours ne fait pas de vous un meilleur utilisateur ; ça fait de vous un utilisateur fréquent, point.
Et la formation, alors ?
Le cabinet propose une formation interne à l'IA, que certains employés complètent au cours de la période. Les auteurs ont donc pu comparer, pour chaque personne, la sophistication du mois de formation, celle des mois précédents et celle des mois suivants, en neutralisant les différences individuelles grâce à des effets fixes par employé (une façon de dire : on ne compare pas Alice à Bob, mais Alice à Alice).
Le mois de la formation, l'effet est là, et net : +0,051 en clarté, +0,037 en stratégies, +0,028 en diversité, tous significatifs. Le mois d'après, il s'est évaporé. Le terme qui capture les formations passées n'est associé à rien de positif. Formule des auteurs : « nous trouvons un usage plus sophistiqué le mois où un employé achève une formation formelle à la genAI, mais pas dans les mois qui suivent ».
L'image qui vient, c'est celle du cours de secourisme : la semaine du stage, on se rappelle la position latérale de sécurité ; six mois plus tard, on hésite déjà. La formation crée un effet « présent à l'esprit » (top-of-mind), pas une habitude. Les auteurs en tirent une leçon prudente mais claire : ces résultats « traduisent la difficulté que peuvent rencontrer les organisations pour produire des changements durables dans l'usage sophistiqué de la genAI ».
Ce qui prédit vraiment un bon usage
S'il y a un enseignement pratique dans le papier, il est dans le tableau 4. Deux comportements sont fortement et constamment associés à la sophistication, bien plus que la fréquence d'usage. Le premier est la longueur du premier prompt d'une conversation, que les auteurs baptisent « ambition ». Le second est le nombre de tours d'échange (« persistance ») : le coefficient sur la clarté grimpe à 0,257, de loin le plus élevé de l'étude. Les auteurs reconnaissent que la relation est en partie mécanique (une conversation plus longue offre plus d'occasions d'utiliser une technique), mais le signal est robuste.
Pour un manager, c'est une boussole simple : ce qui distingue un utilisateur avancé, ce n'est pas qu'il ouvre l'outil souvent, c'est qu'il commence par un brief consistant et qu'il ne se contente pas de la première réponse.
Pourquoi ce papier compte
D'abord parce que ce type de données n'existe presque jamais. Les études précédentes sur l'IA au travail reposent sur des sondages (« utilisez-vous l'IA ? »), des expériences en laboratoire, ou des essais contrôlés sur une tâche précise. Ici, on a le flux réel, brut, non déclaratif, de 4 000 personnes pendant huit mois. Le papier déplace la question de « qui adopte » vers « qui utilise bien », et fournit des mesures reproductibles que d'autres chercheurs pourront reprendre.
Ensuite parce qu'il tranche, au moins pour ce terrain, un débat qui agite la littérature depuis 2023. Certaines études célèbres (les centres d'appels de Brynjolfsson, les rédacteurs de Noy et Zhang) montraient que l'IA profite surtout aux moins expérimentés, en leur transmettant les bonnes pratiques des meilleurs. D'autres soutiennent que l'expertise métier est un complément indispensable, parce qu'elle permet de formuler la bonne demande et de juger la réponse. Sur la qualité de l'interaction elle-même, les données de KPMG penchent pour la seconde thèse : l'expertise et la genAI se complètent, elles ne se substituent pas.
Enfin, parce que le message sur la formation est un caillou dans la chaussure des entreprises qui investissent, selon le chiffre cité en ouverture du papier, 37 milliards de dollars dans la genAI en 2025. Si un atelier de deux heures ne change rien à un mois de distance, c'est le format même de l'accompagnement qu'il faut repenser : rappels intégrés dans l'outil, bibliothèques de prompts métier, gabarits imposés, tutorat par les pairs.
Les bémols, et ils sont sérieux
Les auteurs ont l'honnêteté de qualifier leur analyse de « descriptive », et il faut prendre le mot au sérieux.
Sophistication n'est pas performance. C'est la limite centrale, que le papier assume sans détour : « nous ne sommes pas en mesure de déterminer si la sortie du LLM a satisfait l'objectif de l'utilisateur », ni « de mesurer directement la qualité des résultats ou l'influence de la genAI sur la productivité ». Un prompt long, structuré et stratégique est un proxy de compétence, pas une preuve d'efficacité. Il n'est pas exclu qu'un comptable qui tape trois mots obtienne exactement ce qu'il veut.
Un juge sans bulletin de notes. La calibration du LLM-juge est décrite, mais aucun taux d'accord avec des annotateurs humains n'est publié, ni la taille de l'échantillon vérifié manuellement. Pour une étude dont toutes les mesures sortent de ce classifieur, c'est une pièce manquante gênante.
Une seule entreprise, et pas n'importe laquelle. Un cabinet qui fournit les outils, encourage leur usage et forme ses équipes. Les auteurs le disent eux-mêmes : « par construction », l'étude omet les personnes qui n'ont pas ce soutien organisationnel. Le taux d'adoption de 83,9 % le rappelle : on n'est pas dans la PME moyenne.
Copilot reste une boîte noire. L'outil le plus utilisé (78 % des mois-employés, contre 43,7 % pour aIQ Chat) n'est observé qu'en fréquence. Il se pourrait que les usages les plus fins migrent vers Copilot, intégré à Outlook et Word, et échappent ainsi au radar.
La formation est une boîte noire aussi. On ignore son contenu, sa durée, son caractère obligatoire ou volontaire, et le nombre de participants. Conclure qu'« aucune formation ne marche » serait aller bien au-delà des données ; ce que dit le papier, c'est que cette formation, dans ce cabinet, n'a pas laissé de trace mesurable.
Le terrain a déjà bougé. Les auteurs le soulignent : depuis la fin de la fenêtre d'observation, les modèles ont évolué, les bonnes pratiques de prompting aussi (les modèles de raisonnement ont, par exemple, rendu moins utile le chain-of-thought explicite), et « les taux d'usage et la prévalence de comportements particuliers rapportés dans ce papier peuvent déjà différer de la pratique actuelle ».
Ce qu'on va surveiller
La suite logique, c'est la pièce manquante : relier la sophistication à des résultats. Une entreprise qui accepterait de croiser ces mesures avec des évaluations de livrables, des délais ou des notes de satisfaction transformerait un proxy en preuve. On guettera aussi les réplications hors du monde des cabinets de conseil, dans l'industrie ou le secteur public, où le rapport à l'outil est sans doute très différent.
Et puis il y a la question qui fâche, celle que le papier pose sans y répondre : si l'expertise métier est ce qui rend l'usage de l'IA sophistiqué, et si cette expertise s'acquiert en briefant, en relisant et en corrigeant des juniors… que se passe-t-il le jour où ces tâches de junior sont confiées à la machine ? On aura des seniors excellents prompteurs, et une génération qui n'aura jamais appris à déléguer à qui que ce soit. Un sujet pour un prochain papier, et pour plus d'un comité de direction.
Source : Nicholas J. Hallman, Zachary T. Kowaleski, Anu Puvvada et Jaime J. Schmidt, « Sophistication in GenAI Use: Field Evidence from a Large Firm », arXiv:2608.27364, déposé le 27 août 2026. https://arxiv.org/abs/2608.27364