LLMs for LLMs : une méthode de prompting structurée pour dompter les longs documents juridiques

Parlons franchement : lire 200 pages de contrat pour trouver une clause sur trois mots, c’est l’équivalent juridique de chercher une aiguille dans une botte de foin… en latin. Le papier « LLMs for LLMs: A Structured Prompting Methodology for Long Legal Documents » propose une façon élégante — et étonnamment efficace — d’utiliser des modèles de langage (LLMs) sans les réentraîner, pour extraire des informations fiables de contrats très longs. Et l’équipe montre même des gains face à un modèle de référence affûté pour l’extraction. Oui, avec “juste” du prompting bien pensé.

« AI models must remain tools, and not become decision makers in their own right. »

Cette phrase donne le ton : ici, l’IA n’est pas le juge, c’est la loupe. Voyons comment la méthode transforme un LLM généraliste en lecteur juridique méthodique.

L’idée en bref (et sans jargon)

Le cœur de la recette : découper, bien demander, puis sélectionner intelligemment. Les auteurs s’attaquent à deux cailloux dans la chaussure des LLMs en droit : le problème des documents trop longs (qui dépassent la fenêtre de contexte) et la recherche d’information précise (retrouver la clause qui répond à une question donnée). Leur solution : découper le contrat en morceaux, poser la question à chaque morceau avec un prompt soigneusement conçu, puis choisir la meilleure réponse via deux heuristiques astucieuses. Résultat : des performances au niveau state of the art sur CUAD, avec jusqu’à +9 % sur la comparaison clé.

Le terrain de jeu : CUAD et un modèle grand public

Plutôt que de bâtir un énième legal LLM, l’équipe part d’un modèle généraliste : Qwen‑2 (7B), exécuté localement via Ollama. Les expériences se concentrent sur CUAD, un jeu de données de révision de contrats (510 documents, 41 questions de clauses, ~13 000 annotations), solide et rigoureusement annoté par des experts. L’idée : avec un bon mode d’emploi (le prompt), un généraliste peut rivaliser avec un spécialiste.

Comment ça marche ? (métaphore incluse)

Imaginez que vous deviez trouver « la date d’expiration » dans un roman-fleuve juridique. Au lieu de relire tout le livre, vous :

Découpez le livre en chapitres réguliers (les chunks) ;
Demandez à un lecteur rapide de repérer l’extrait pertinent dans chaque chapitre ;
Faites voter des arbitres sur la meilleure proposition, à l’aide de règles qui limitent les emballements.

C’est exactement ce que fait la méthode.

1) Découpage + “redoublage” du contexte

Premier geste : segmenter chaque document en morceaux de longueur uniforme. Problème : une clause peut être coupée pile au bord d’un morceau. Solution : l’augmentation par “redoublage” — on crée des morceaux chevauchants qui recollent les deux moitiés d’une clause fendue (A, puis A/B, B, puis B/C, etc.). Comme si vous relisiez la fin d’un chapitre et le début du suivant d’un seul regard. Les auteurs montrent qu’un chunk de ~1000 mots marche bien dans leurs expériences.

2) Créer des prompts qui « tiennent la main » au modèle

Ici, on ne balance pas une question en vrac ; on structure. Les auteurs construisent un gabarit de prompt, le testent, le paraphrasent, et ajoutent des “techniques” (ton coercitif ou bienveillant, persona d’expert, reformulation, réflexion, etc.) pour guider le modèle. Leur pipeline de création/validation ressemble à un mini-entraînement… sans entraînement. Dans leurs tests, une formulation simple a particulièrement bien marché : « Identify the part of the question that corresponds to [Q] ».

Le gabarit final (très lisible) demande d’extraire mot pour mot le passage qui répond à la question, ou de répondre « Does not exist » si l’information n’est pas dans l’extrait. Oui, on force le modèle à citer plutôt qu’à paraphraser — un garde‑fou utile en droit.

3) Élection de la “meilleure” réponse : DBL + ICW

À ce stade, chaque morceau a produit une candidate. Reste à choisir. Deux heuristiques y veillent.

DBL — Distribution‑Based Localisation. Idée : dans les contrats, les clauses n’apparaissent pas au hasard. On apprend, à partir de données annotées, où une réponse a le plus de chances de se trouver (début/milieu/fin…) et on pondère davantage les candidats provenant de ces zones chaudes. En clair, on fabrique une carte thermique des emplacements probables de chaque type de clause.

ICW — Inverse Cardinality Weighting. Deuxième filet : les réponses trop nombreuses et trop semblables sont souvent… fausses. Les auteurs regroupent les réponses par similarité (avec des embeddings GritLM et DBSCAN) et pénalisent les gros paquets. Autrement dit : la minorité silencieuse mais précise a plus de poids que la foule bruyante. Le papier résume joliment l’idée : « weight them inverse‑proportionally to the size of their respective groups ».

Évaluer sans se tromper (et c’est plus dur qu’il n’y paraît)

Comparer une approche extractive (qui recopie l’extrait exact) à une approche générative (qui pourrait reformuler) n’est pas trivial. Les auteurs combinent des métriques automatiques (ROUGE, METEOR, similarité cosinus via GritLM) et une évaluation humaine. Ils fixent des seuils réalistes (0,60 / 0,68 / 0,79) en s’appuyant sur un jeu de paraphrases (ParaQA). Et ils notent un point crucial : sur des réponses très courtes, ces métriques automatiques « punissent » trop facilement les bonnes réponses qui ne sont pas verbatim, d’où la nécessité du regard humain.

Et les résultats ?

C’est là que la méthode brille. Sur les 41 questions de CUAD, Qwen‑2 (prompté) égale ou dépasse largement DeBERTa‑large (l’approche extractive de référence dans l’étude), avec en moyenne ~+9 % de réponses correctes par question. Lorsque l’on se concentre sur les cas où la clause existe bien (pratique courante des juristes), le gain moyen est encore ~+6 %. Autrement dit : du prompting robuste sur un modèle généraliste peut rivaliser avec un modèle affûté, sans le coût (et la rigidité) du fine‑tuning.

« …performs up to 9% better than the previously presented method… »

Les auteurs observent aussi des modes d’échec instructifs : parfois Qwen ignore la question et résume ; parfois DeBERTa copie trop large ; parfois l’un ou l’autre ne donne qu’une réponse partielle. Bonne nouvelle : de petites retouches de prompt réduisent notablement ces erreurs, surtout côté hallucinations.

Pourquoi c’est utile (au‑delà du droit)

Pour l’IA et le développement

Cette approche montre une voie scalable : remplacer (ou retarder) le fine‑tuning par un processus de prompting reproductible, explicable et ré‑optimisable. On y gagne en portabilité (modèle généraliste), en interprétabilité (DBL/ICW sont des règles simples), et en coût (exécutable sur une machine grand public). Pour des équipes produit, c’est une boîte à outils : découpage chevauchant, gabarits, persona/domain, “réflexion”, puis vote pondéré.

Pour la data science

La méthode respire la pensée expérimentale : jeu de validation distinct, facteurs (prompt simple vs complexe, avec ou sans augmentation), plan factoriel 2×2, et analyse des interactions. On voit par exemple que des prompts plus riches amplifient l’effet positif de l’augmentation, alors qu’une duplication naïve peut renforcer un biais vers des réponses positives — que l’ICW sanctionne ensuite. Bref : c’est du design d’expériences appliqué au prompting.

Pour mes créations de jeux (oui, vraiment)

Un gros livre de règles ou un univers de lore ressemble fort à un contrat : long, structuré, parfois elliptique. La même recette s’applique : découpage régulier, chevauchements pour ne pas couper une mécanique en deux, prompts qui forcent l’extraction mot à mot (plutôt que des paraphrases vagues), et une sélection par vote qui favorise la cohérence sur le spam. Pour un outil MJ/Designer, c’est une manière pragmatique de répondre à « Où est expliquée la règle de résistance au feu ? » sans fine‑tuner un modèle maison.

Ce que je retiens (et ce que le papier admet)

La structure compte : découpage uniforme + chevauchement ciblé, c’est bête et méchant, mais terriblement efficace.
Le prompting est un processus, pas une incantation magique : on conçoit, on teste, on itère, on mesure, puis on fige un gabarit.
Les heuristiques lisibles (DBL, ICW) apaisent le côté boîte noire, tout en améliorant la robustesse.
L’évaluation reste un défi (surtout pour des réponses courtes) ; l’humain demeure la référence.

Et quelques limites : les heuristiques utilisent des données annotées pour estimer la localisation des réponses (DBL), et des embeddings + clustering pour ICW — ces choix techniques sont raisonnables et transparents, mais ils introduisent des hyper‑paramètres et des seuils qu’il faut régler et re‑valider si le contexte change (autres contrats, autre juridiction, autre modèle). Le papier le reconnaît d’ailleurs en appelant à de meilleures métriques automatiques adaptées au texte juridique.

Deux mini‑exemples concrets

Contrat SaaS : vous cherchez « Pénalités de retard ». Découpez en 1000 mots, ajoutez A/B et B/C, appliquez le gabarit “cite exact” ; puis laissez DBL privilégier le tiers “conditions financières” et ICW dégonfler la grappe de réponses vagues (“Les parties conviennent…”).
Dossier de conformité : question « Qui sont les Third‑Party Beneficiaries ? » ; même mécanique, mais persona juriste + ton coercif pour forcer la discipline de réponse, et refus « Does not exist » en l’absence d’occurrence — pas d’invention.

Quelques phrases qui claquent (et qui résument)

« Identify the part of the question that corresponds to [Q]. »

« …weight them inverse‑proportionally to the size of their respective groups. »

« AI models must remain tools, and not become decision makers in their own right. »

Conclusion

Ce papier est une leçon de sobriété : avant de dégainer le fine‑tuning (cher, fragile, peu portable), désossons le problème, structurons les prompts, supervisons la sélection. Le combo découpage/chevauchement + gabarit discipliné + DBL/ICW transforme un LLM généraliste en assistant juridique pragmatique, exécutable sur un PC normal, et capable d’atteindre ou dépasser le spécialiste. Pas mal pour “juste” du prompting.

Le clin d’œil final : si vous voyez encore le prompting comme un art mystique, ce papier rappelle qu’il peut être une ingénierie — avec schémas, variables, expériences et résultats. Et franchement, qui n’a jamais rêvé d’une carte au trésor pour retrouver la clause « Force Majeure » à 3 h du matin ?

Référence : Strahinja Klem, Noura Al Moubayed. « LLMs for LLMs: A Structured Prompting Methodology for Long Legal Documents », arXiv (2025).