ReasoningBank : quand un agent arrête (enfin) de répéter ses erreurs

Scaling Agent Self‑Evolving with Reasoning Memory

TL;DR : ReasoningBank est une mémoire de raisonnement qui transforme les réussites et les échecs d’un agent en stratégies réutilisables. Couplée à MaTTS (Memory‑aware Test‑Time Scaling), elle crée une boucle vertueuse : plus d’expériences ⇒ meilleure mémoire ⇒ meilleures décisions ⇒ encore de meilleures expériences.

Pourquoi ce papier vaut le détour

Avez‑vous déjà vu un agent (ou un collègue…) refaire la même bourde trois fois d’affilée ? Les agents à base de LLM (Large Language Model) sont très forts pour raisonner dans l’instant, mais ils oublient vite. Le papier ReasoningBank: Scaling Agent Self‑Evolving with Reasoning Memory propose une idée simple et efficace : bâtir une banque de stratégies – une mémoire qui ne stocke pas juste des traces brutes, mais des principes de raisonnement extraits de ce qui a marché… et de ce qui a foiré. Résultat : l’agent s’améliore au test, sans ré‑entraîner ses paramètres.

Et ce n’est pas tout : les auteurs ajoutent MaTTS (Memory‑aware Test‑Time Scaling), une manière d’augmenter la « matière première » d’apprentissage en multipliant et en contrastant les trajectoires d’un même problème. Mémoire et calcul s’alimentent mutuellement – comme un duo basse/batterie bien calé.

L’idée en une métaphore (façon deck‑building)

Imaginez un roguelite de deck‑building. À chaque run, votre perso récupère des cartes‑stratégies : certaines viennent de vos victoires (« ce combo marche »), d’autres de vos défaites (« ne jamais engager ce boss sans anti‑poison »). Votre ReasoningBank est ce classeur où vous rangez ces cartes, avec un titre, une description et un contenu (exemples, check‑lists, pièges à éviter). Quand une nouvelle run commence, vous piochez les cartes pertinentes, et à la fin, vous en ajoutez de nouvelles. C’est exactement la mécanique décrite par les auteurs : des items de mémoire structurés guidant l’agent avant, pendant et après l’action.

« ReasoningBank distills and organizes memory items from both successful and failed experiences judged by the agent itself without ground‑truth labels. »

Résumé vulgarisé

1) Une mémoire qui retient l’essentiel (pas tout)

Plutôt que d’archiver des trajectoires brutes (longues, verbeuses, bruitées), ReasoningBank distille des stratégies générales : ce sont des « règles de l’art » que l’agent pourra transférer à d’autres tâches. Chaque item est structuré (titre, description, contenu) et la récupération se fait par recherche sémantique (embedding‑based similarity search). Les items pertinents sont injectés dans l’instruction système de l’agent au moment d’agir ; en fin de tâche, de nouvelles leçons (issues de succès et d’échecs) sont construites puis consolidées dans la banque.

2) MaTTS : le test‑time scaling qui apprend vraiment

Le TTS (Test‑Time Scaling) désigne l’idée d’augmenter le calcul à l’inférence (plusieurs chemins de raisonnement, vérifications, etc.). Les auteurs montrent que, sans mémoire, TTS peut surtout générer du bruit : plus de rollouts ne garantit pas de meilleures solutions. MaTTS corrige le tir : il organise et met en contraste les trajectoires (parallèles ou séquentielles) pour alimenter ReasoningBank avec des signaux riches (succès et erreurs). Ce couplage crée une synergie : meilleure mémoire ⇒ TTS plus efficace ⇒ encore meilleure mémoire.

« This positive feedback loop positions memory‑driven experience scaling as a new scaling dimension for agents. »

3) Ce que disent les expériences

Les auteurs évaluent sur des tâches web (WebArena, Mind2Web) et logiciel (SWE‑Bench‑Verified). Résultat : ReasoningBank surpasse les mémoires existantes (qui stockent des trajectoires brutes ou seulement des routines de succès) et réduit le nombre d’étapes d’interaction. Ils rapportent jusqu’à 34,2 % d’amélioration relative et 16,0 % d’étapes en moins ; sur SWE‑Bench‑Verified, par exemple, le taux de résolution grimpe (p.ex. de 54,0 % à 57,4 % pour un des modèles) tout en diminuant les étapes moyennes (21,1 → 19,8).

Sous le capot : comment ça marche

ReasoningBank côté « ingénierie »

L’agent fonctionne en trois temps :

Retrieval : il requête ReasoningBank avec le contexte courant, récupère les meilleurs items via similarité d’embeddings, et les insère dans ses instructions système.
Construction : après l’exécution, l’agent analyse la trajectoire, s’auto‑évalue (via LLM‑as‑a‑Judge, souvent le même LLM que celui qui agit) et synthétise de nouvelles cartes‑stratégies à partir des réussites et des échecs.
Consolidation : il dé‑duplique, généralise et organise les cartes pour éviter l’inflation et améliorer la qualité globale.

C’est la transposition « logicielle » de notre roguelite : piocher les bonnes cartes, puis crafter de meilleures cartes après chaque run.

MaTTS côté « game design »

Deux modes complémentaires :

Parallèle : on lance N trajectoires en parallèle pour la même tâche et on calcule le BoN (Best‑of‑N). MaTTS ne se contente pas de choisir la meilleure : il compare les chemins entre eux pour en tirer des principes (auto‑contraste).
Séquentiel : on itère sur la même tâche, en raffinant les pistes et en agrégeant les leçons entre les tours (façon « run → post‑mortem → run »).

Dans les deux cas, la mémoire guide l’exploration et l’exploration enrichit la mémoire. Sans cette boussole, « scaler » le test‑time revient parfois à ajouter des essais aléatoires. Avec MaTTS, on ajoute des essais instructifs.

Ce que montrent vraiment les résultats

Sur WebArena et Mind2Web, ReasoningBank améliore la réussite de tâche et écourte les interactions, confirmant qu’une mémoire stratégique vaut mieux qu’un entrepôt de logs. Les analyses mettent aussi en évidence des comportements émergents : les items évoluent d’astuces tactiques (« trouver les liens de navigation ») vers des check‑lists adaptatives, puis vers des stratégies compositionnelles (croiser les exigences, re‑vérifier les options). En bref : la mémoire « monte en gamme ».

Côté SWE‑Bench‑Verified, on observe des gains concrets de taux de résolution avec moins d’étapes, ce qui est capital quand on paie le token. À noter : les baselines Synapse et AWM (Agentic Workflow Memory) misent surtout sur des trajets gagnants ; ReasoningBank brille parce qu’elle sait convertir l’échec en signal utile. (Les auteurs montrent d’ailleurs qu’ajouter des échecs nuit aux baselines, mais aide ReasoningBank.)

Pour qui, pour quoi ?

IA & développement

Ops d’agents : si vous déployez un agent navigateur (RPA web, support client, scraping intelligent), ReasoningBank offre une mémoire explicable : des cartes synthétiques auditées, pas un amas de traces illisibles.
Debug & tooling : en codage, les cartes peuvent encapsuler des patrons de correction (« reproduire le bug », « isoler le module », « écrire un test de non‑régression »). Avec MaTTS, vous générez des variantes et vous consolidez ce qui marche et ce qui foire, pour nourrir la banque.
Coût : l’étude rapporte 16 % d’étapes en moins, donc potentiellement moins de tokens pour atteindre la bonne réponse. (Vos CFOs diront merci.)

Data science

Pipelines itératifs : expérimentation → analyse → cartes de stratégie (ex. « ne pas oublier le leakage », « tester la sensibilité aux outliers »).
Transversalité : les cartes étant généralisées, on les réutilise sur des domaines proches (le principe, pas la recette exacte).

Création de jeux (oui, c’est vous que je regarde 👀)

IA de NPCs/GM : un maître du jeu numérique qui apprend des runs précédents, corrige ses réflexes (« arrêter de spammer l’attaque inefficace ») et invente des contre‑stratégies.
Level design assisté : générer des variantes de niveaux (MaTTS parallèle), analyser pourquoi les joueurs échouent, puis distiller des règles de design (« donner un indice visuel avant une mécanique punitive », etc.).
Balancing : transformer les logs de playtests en cartes de tuning réutilisables.

Détail sympa : l’auto‑évaluation

Les auteurs utilisent un LLM‑as‑a‑Judge : le même modèle juge la correction des trajectoires, ce qui permet d’extraire des cartes sans labels de vérité terrain. Oui, l’agent s’auto‑corrige (avec méthode). C’est pratique en production, où l’oracle manque souvent.

Limites et questions ouvertes

Même si ReasoningBank s’en sort bien, quelques points à garder en tête :

Overhead : construire/consolider des cartes a un coût (token + temps), même si l’effet net peut rester positif grâce aux étapes économisées.
Qualité des jugements : un juge LLM peut se tromper ; on peut envisager des vérifieurs externes ou des heuristiques pour renforcer la robustesse.
Portabilité : certaines cartes sont très domaine‑dépendantes ; la consolidation doit éviter les doublons et favoriser les principes vraiment transférables.
Éthique & traçabilité : bonne nouvelle – des cartes lisibles facilitent l’audit (mieux que des giga‑logs). À institutionaliser dès le design.

Citations choisies

« ReasoningBank distills and organizes memory items from both successful and failed experiences judged by the agent itself without ground‑truth labels. »

« This positive feedback loop positions memory‑driven experience scaling as a new scaling dimension for agents. »

Conclusion

Ce papier pousse une idée très pragmatique : arrêter d’entraîner des agents à oublier. En traitant l’expérience comme un capital de stratégies – et non un amas de traces – ReasoningBank + MaTTS offre un nouveau levier de scaling : l’expérience elle‑même. Pour les praticiens, c’est un pattern réutilisable : archiver des leçons transférables, piloter l’exploration par la mémoire, et boucler le tout avec des comparaisons intelligentes.

La prochaine fois que votre agent répète une bêtise, offrez‑lui une carte « Ne pas foncer tête baissée ». Et si ça marche, mettez‑la en légendaire. 😉

Références : Ouyang, S., Yan, J., Hsu, I‑H., et al. (2025). ReasoningBank: Scaling Agent Self‑Evolving with Reasoning Memory. arXiv.