The Ethical Decision Head : quand la voiture autonome apprend la morale des humains… et pas celle des philosophes

Le dilemme du tramway (https://fr.wikipedia.org/wiki/Dilemme_du_tramway) a longtemps été une expérience de pensée confortable. On la posait en amphi de philo, chacun donnait son avis, personne ne mourait, et tout le monde repartait déjeuner. Puis les voitures autonomes sont arrivées, et la question a changé de statut : ce n'est plus un casse-tête de séminaire, c'est une ligne de code qui devra bien, un jour, faire quelque chose quand la collision devient inévitable.

C'est exactement le terrain où s'aventure The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback, un préprint déposé sur arXiv le 17 août 2026 par Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer et Amin Shirangi. Le programme annoncé est ambitieux : prendre deux grandes théories morales — l'utilitarisme (https://fr.wikipedia.org/wiki/Utilitarisme) et l'éthique kantienne — les convertir en fonctions de récompense, et vérifier si un agent d'apprentissage par renforcement peut les apprendre à partir de préférences humaines, avec la même recette RLHF (Reinforcement Learning from Human Feedback, apprentissage par renforcement à partir de retours humains) qui sert aujourd'hui à aligner les grands modèles de langage.

Et le résultat est plus savoureux/inconfortable que prévu. L'agent a bien appris une morale. Simplement, ce n'est pas celle qu'on lui avait prescrite. Les évaluateurs humains, placés devant des scénarios de collision imminente, ont systématiquement récompensé le sacrifice de soi plutôt que le froid calcul du nombre de victimes. Et le modèle, en bon élève, a appris cette préférence-là — fidèlement, obstinément, au point de ne jamais choisir l'action que la théorie utilitariste désignait pourtant comme optimale dans la moitié des cas.

Les auteurs en tirent une phrase qui mérite d'être encadrée : « RLHF does not learn ethics as philosophers define it, but as humans live it ». Le RLHF n'apprend pas l'éthique telle que les philosophes la définissent, mais telle que les humains la vivent.

Dis moi ce que tu choisis et je te dirai qui tu es...

Le papier interpelle parce qu'il déplace une question d'alignement du tableau blanc vers le banc d'essai. On répète depuis des années que « les valeurs humaines » devraient guider les IA. Ce papier prend l'affirmation au mot : il installe des humains dans la boucle d'entraînement, leur demande de juger des décisions de vie ou de mort, et mesure l'écart entre ce que la théorie prescrit et ce que les gens récompensent réellement. Cet écart n'est pas un détail d'implémentation, c'est le cœur du résultat.

Ensuite, parce que le terrain choisi — la voiture autonome — rend le problème tangible. Quand un chatbot est « trop d'accord » avec vous, c'est agaçant. Quand un véhicule de niveau 4 ou 5 doit arbitrer entre ses passagers et des piétons, le biais dans la fonction de récompense a une adresse postale et un pare-chocs.

Enfin, parce que la conclusion dérange dans les deux sens. Elle embête les partisans d'une éthique « programmée » (les humains ne récompensent pas ce que la théorie prescrit), mais aussi les partisans d'un alignement purement empirique sur les préférences humaines : si nos jugements collectifs charrient des biais — ici, un biais très documenté en psychologie morale —, alors les apprendre fidèlement, c'est les automatiser fidèlement.

Le banc d'essai : un dilemme du tramway en 40 dimensions

Concrètement, l'Ethical Decision Head (EDH) est un module de décision par apprentissage par renforcement profond, pensé pour des scénarios dont la représentation d'état est alignée sur le simulateur de conduite CARLA (https://carla.org/). Chaque situation de collision imminente est encodée dans un vecteur d'état à 40 dimensions : vitesse du véhicule, nombre de passagers à bord, position sur la voie, et — c'est le nerf de la guerre — le décompte de piétons dans chacune des trois directions possibles.

Car l'agent n'a que trois choix : maintenir sa trajectoire (maintain), braquer à gauche (swerve-left) ou braquer à droite (swerve-right). Freiner ou accélérer sont explicitement neutralisés (masqués par de grands biais négatifs sur les logits), parce que le papier s'intéresse au moment précis où il est trop tard pour freiner : il ne reste que l'arbitrage.

Côté architecture, rien d'exotique, et c'est voulu : un réseau de politique (l'acteur) et un réseau de valeur (le critique), deux petits MLP de 256 puis 128 unités, entraînés par PPO (Proximal Policy Optimization), l'algorithme de référence du RLHF, sur 2 millions de pas de temps. Le troisième composant est le plus intéressant : un modèle de récompense qui prend l'état (40 dimensions) concaténé à l'action (5 dimensions en encodage one-hot) et produit un score éthique scalaire. C'est lui, le fameux « Ethical Decision Head » : une tête de décision qui transforme un jugement moral en signal différentiable.

Le corpus de travail : 200 scénarios de collision imminente construits selon un livre de codes strict, découpés en 160 pour l'entraînement et 40 pour le test. C'est petit — on y reviendra — mais chaque scénario a une réponse « officielle » selon chacune des deux théories morales testées.

Kant et Bentham convertis en fonctions de récompense

La partie la plus amusante du papier est peut-être cet exercice de traduction : que devient une théorie morale quand on la force à tenir dans une fonction de récompense ?

Le cadre utilitariste devient une soustraction : la récompense est proportionnelle à l'opposé du nombre de blessés. Moins de victimes, meilleur score. C'est l'arithmétique de Bentham (https://fr.wikipedia.org/wiki/Jeremy_Bentham) au volant : peu importe qui est touché, seul le total compte.

Le cadre kantien devient une interdiction : −100 si l'agent « instrumentalise » un piéton — c'est-à-dire s'il braque activement vers quelqu'un —, 0 sinon. C'est l'impératif catégorique version fonction indicatrice : on ne traite jamais une personne comme un moyen, donc on ne redirige jamais le danger vers elle, quoi qu'il en coûte.

Et là, première trouvaille méthodologique, presque en passant : dans les 200 scénarios du papier, la règle kantienne prescrit toujours la même action — maintenir la trajectoire. L'apprentissage kantien se réduit donc à une tâche de prédiction constante, qu'une politique ignorant totalement ses entrées réussirait aussi bien. Les auteurs l'assument avec une honnêteté rafraîchissante : cette condition sert de contrôle du pipeline. Elle converge de façon fiable, ce qui prouve que la tuyauterie d'entraînement fonctionne — et donc que ce qui va se passer côté utilitariste n'est pas un bug d'infrastructure. C'est le placebo de l'expérience, en somme.

Des humains dans la boucle — et c'est là que tout dérape

Pour la partie RLHF proprement dite, le protocole suit la recette canonique de Christiano et al papa du RLHF). (2017) (https://arxiv.org/abs/1706.03741): on montre à des évaluateurs humains des paires de trajectoires et on leur demande laquelle est la plus appropriée éthiquement. Un modèle de Bradley-Terry(https://en.wikipedia.org/wiki/Bradley%E2%80%93Terry_model) — le même formalisme qui sert à classer des joueurs d'échecs — convertit ces préférences en scores : la probabilité de préférer la trajectoire A à la B vaut la sigmoïde de la différence de leurs récompenses cumulées. Le modèle de récompense est ensuite entraîné à reproduire ces jugements, et PPO optimise la politique contre ce proxy. Ca ressemble a du verbiage mais ça montre seulement que tout le côté retour humain est encadré par des régles statistiques strictes.

Les évaluateurs ? Deux personnes, issues d'une population étudiante générale, sans formation préalable en éthique normative. C'est peu — ce que les auteurs reconnaissent — mais c'est aussi, au final, assez réaliste : les futures voitures autonomes n'apprendront pas leurs préférences auprès d'un jury de kantiens diplômés. Il y a même de fortes chances qu'elles apprennent de data scientist qui ont déjà un biais quand ils regardent le monde, mais c'est une autre histoire :P

Et le résultat est édifiant. Quand l'agent est entraîné par supervision directe sur les étiquettes utilitaristes (sans passer par les préférences humaines), il atteint 90,3 % d'accord avec l'action optimale (celle où on tue le moins de gens possibles donc). Quand il est entraîné par le pipeline RLHF complet — préférences humaines, modèle de récompense, PPO —, il plafonne à 42,5 %.

L'écart n'est pas du bruit, il a une direction. Dans les scénarios de test, l'action utilitariste correcte se répartissait ainsi : braquer à gauche dans 50 % des cas, maintenir dans 30 %, braquer à droite dans 20 %. Or la politique issue du RLHF n'a jamais prédit « braquer à gauche » — l'action modale correcte ! — et s'est effondrée sur un mélange de « maintenir la trajectoire » et « braquer à droite ». Dans environ la moitié des scénarios, l'agent s'écarte de la minimisation stricte des victimes au profit de ce que les auteurs appellent l'auto-sacrifice : encaisser l'impact, passagers compris, plutôt que de dévier activement le danger vers des piétons — même quand la déviation aurait fait, au total, moins de victimes.

Ce n'est pas l'agent qui a inventé ça. C'est le reflet exact de ce que les deux évaluateurs ont récompensé. La psychologie morale connaît bien ce phénomène : le biais d'omission(https://biais-cognitif.com/biais/biais-domission/), cette intuition tenace qu'un mal causé par une action délibérée pèse plus lourd qu'un mal supérieur survenu par inaction. Tourner le volant vers quelqu'un, c'est le choisir ; ne pas tourner le volant, c'est « le destin ». Nos intuitions absolvent le second et condamnent le premier, indépendamment du décompte final. Les études autour de la Moral Machine (Awad et al., 2018) et de Bonnefon et al. (2016) avaient déjà montré l'incohérence des préférences humaines dans ces dilemmes — les gens veulent des voitures utilitaristes… pour les autres. Ici, le biais ne se contente plus de fausser un sondage : il s'imprime dans les poids d'une politique.

Goodhart monte à bord

Le papier offre aussi une jolie illustration d'un classique de l'apprentissage par renforcement : la loi de Goodhart, ou ce que la littérature RLHF appelle le reward overoptimization. La figure 5 du papier montre qu'à partir d'un certain point de l'entraînement, le score du modèle de récompense (le proxy appris des préférences humaines) stagne tranquillement… pendant que l'utilité réelle — l'objectif utilitariste de départ — continue de se dégrader. L'agent devient de plus en plus fort pour plaire au juge, et de plus en plus mauvais pour atteindre l'objectif que le juge était censé représenter.

C'est la mésaventure du restaurant qui optimise ses avis Google plutôt que sa cuisine : les étoiles montent, les assiettes déçoivent. Sauf qu'ici, la métaphore a des airbags.

Les limites à garder en tête

Il faut être honnête sur le gabarit de l'étude, et les auteurs le sont.

Deux évaluateurs, c'est un échantillon minuscule : impossible de distinguer une idiosyncrasie individuelle d'un effet de population. Les statistiques de fiabilité inter-annotateurs n'ont pas été conservées, ce qui est dommage pour juger de la cohérence des jugements. Les 200 scénarios, générés par un livre de codes, restent une approximation très finie de la distribution des situations morales réelles — on est dans une abstraction alignée sur CARLA, pas dans une simulation de conduite complète, encore moins sur route. Seuls deux cadres normatifs sont testés, et le kantien, on l'a vu, dégénère en tâche triviale : l'éthique des vertus ou le contractualisme attendront. Enfin, le biais d'omission observé n'est probablement qu'un représentant d'une famille plus large de biais affectifs qui contamineraient tout aussi bien d'autres protocoles de préférence.

Bref : ce papier ne prouve pas que « le RLHF est cassé ». Il construit un petit théâtre expérimental où une divergence bien connue de la psychologie morale traverse, intacte, toute la machinerie de l'alignement moderne — et c'est précisément ce qui le rend intéressant. Un résultat modeste en taille, net en direction.

Ce que ça change, et ce qu'on va surveiller

La question que pose ce papier dépasse largement la voiture autonome, car le pipeline testé — préférences par paires, Bradley-Terry, modèle de récompense, PPO — est, à l'échelle près, celui qui aligne les assistants IA que vous utilisez tous les jours. Si deux étudiants notant des trajectoires de collision suffisent à faire dévier un agent de son objectif normatif explicite, que font des millions de clics de préférence sur nos chatbots ? On sait déjà qu'ils produisent, par exemple, de la flagornerie (la fameuse sycophancie des LLM). Le papier suggère que le mécanisme est général : le RLHF est un miroir, pas un filtre. Il apprend nos valeurs vécues, avec leurs biais, leurs incohérences et leurs angles morts — pas la version idéalisée que nous prétendons professer.

Les auteurs posent la question frontalement : « quand l'objectif est l'instanciation fidèle d'une théorie normative précise, la supervision humaine est-elle seulement un mécanisme d'alignement approprié ? ». Et leur constat final tient en une ligne : les valeurs humaines et la théorie éthique normative ne sont pas toujours la même chose.

Trois choses à surveiller dans les mois qui viennent. Un : les réplications à plus grande échelle — ce protocole crie « refais-moi avec 200 annotateurs et un vrai CARLA ». Deux : les travaux qui tentent de corriger les biais moraux dans les données de préférence plutôt que de les apprendre (débiaiser le juge avant d'entraîner l'élève). Trois : le débat réglementaire — l'Allemagne a déjà des lignes directrices éthiques pour la conduite autonome ; si les préférences humaines brutes contredisent les théories normatives, quelqu'un devra choisir laquelle des deux morales monte dans la voiture.

En attendant, la trouvaille de ce papier ferait un excellent sujet de dissertation : on a demandé à une IA d'apprendre la morale, et elle a parfaitement réussi — celle que nous pratiquons, pas celle que nous enseignons. Le miroir est peut-être le plus impitoyable des professeurs d'éthique.

Références

Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi, The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback, arXiv:2608.16710v1, déposé le 17 août 2026. https://arxiv.org/abs/2608.16710
Edmond Awad et al., The Moral Machine experiment, Nature, 2018.
Jean-François Bonnefon, Azim Shariff, Iyad Rahwan, The social dilemma of autonomous vehicles, Science, 2016.
Paul F. Christiano et al., Deep reinforcement learning from human preferences, NeurIPS, 2017.