XplaiNLP à CheckThat! 2025 : traquer la subjectivité… en plusieurs langues et avec deux cerveaux (transformers + LLMs)

Parcours guidé (et un peu taquin) d’un papier tout frais sur la détection de subjectivité dans les articles de presse.

Pourquoi ce papier m’a accroché

On pourrait croire que reconnaître si une phrase exprime une opinion ou un fait est aussi simple que de trier des chaussettes : noir d’un côté, blanc de l’autre. En réalité, c’est plutôt comme trier des chaussettes à rayures en lumière tamisée. La subjectivité s’infiltre partout : adjectifs qui jugent, tournures qui insinuent, ironie qui cligne de l’œil. Et quand on passe d’une langue à l’autre, le casse-tête devient multilingue.

C’est exactement le défi du CheckThat! 2025 – Task 1 : détecter si une phrase issue d’un article de presse est SUBJ (subjective) ou OBJ (objective), dans des configurations mono‑lingue, multi‑lingue et zero‑shot (entraîner sur certaines langues, tester sur d’autres). L’évaluation officielle se fait au macro‑F1, et les langues du jeu de données de base sont l’arabe, le bulgare, l’anglais, l’allemand et l’italien.

Le papier « XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models » propose une approche très 2025 : combiner des modèles transformers finement ajustés et du prompting zéro‑shot avec des LLMs. Résultat : un cocktail qui décroche la 1ère place en italien et de très belles positions ailleurs, tout en documentant ce qui marche… et ce qui coince.

« We explore two complementary approaches: supervised fine‑tuning […] and zero‑shot prompting with LLMs. »

Le film en accéléré (résumé vulgarisé)

L’équipe XplaiNLP a mené deux voies en parallèle : (1) affiner des transformers (EuroBERT, XLM‑RoBERTa, German‑BERT) sur des données annotées — y compris des traductions automatiques pour enrichir certaines langues — et (2) interroger des LLMs en zéro‑shot avec des consignes ingénieuses (trois stratégies de prompting).

Côté résultats saillants : – En italien monolingue, la stratégie Annotation (un LLM guidé par un ensemble de règles) décroche la 1ère place avec F1 = 0,8104 (baseline : 0,6941). – En roumain zéro‑shot, un XLM‑RoBERTa finetuné atteint F1 = 0,7917 (3e, au‑dessus de la baseline : 0,6461). – En multilingue, le même XLM‑RoBERTa obtient macro‑F1 = 0,7186, au‑dessus de la baseline. – En allemand, un German‑BERT affiné sur des données traduites de langues proches donne F1 = 0,7269 — une piste intéressante quand les données natives manquent. – En revanche, le zéro‑shot reste délicat sur certaines langues peu dotées : ukrainien et polonais passent légèrement sous leurs baselines, signe que la généralisation cross‑lingue n’est pas encore un long fleuve tranquille.

« The Annotation Approach achieves 1st place in the Italian monolingual subtask with an F1 score of 0.8104. »

Les coulisses : comment ça marche vraiment ?

1) La voie “classique” mais solide : finetuning de transformers

German‑BERT + traductions intelligentes. Pour l’allemand, l’équipe augmente l’entraînement en traduisant les jeux d’entraînement des autres langues vers l’allemand, dans un ordre “par proximité” : anglais → italien → bulgare → arabe. Idée : plus une langue est typologiquement proche, plus ses exemples traduits aident. Les auteurs observent une amélioration progressive du macro‑F1 au fur et à mesure qu’on ajoute anglais, italien, bulgare ; l’ajout de l’arabe fait légèrement retomber les performances — un rappel que toutes les traductions ne se valent pas selon la distance linguistique. (Le tableau correspondant montre des gains jusqu’à 0,8172 sur dev‑test pour le modèle incluant de/en/it/bg).

EuroBERT et XLM‑RoBERTa. Sur les réglages monolingues (hors arabe), les auteurs affinent EuroBERT et XLM‑RoBERTa‑base avec un protocole propre : 15 époques, batch size 16, AdamW, early stopping (patience = 3), Focal Loss pondérée, AMP (précision mixte) et clipping du gradient. Détail croustillant : face au déséquilibre de classes (SUBJ sous‑représenté), ils abaissent le seuil de décision pour prédire SUBJ à 0,45 au lieu de 0,5 — une astuce simple qui influe concrètement sur la métrique.

« We applied a reduced classification threshold of 0.45 […] for predicting the SUBJ label. »

Pourquoi c’est malin ? Penser “données avant modèle”. Traduire des corpus proches, c’est fabriquer de la variété utile. Ajuster le seuil, c’est s’allier avec la métrique (macro‑F1) plutôt que de la subir. Et sur des tâches binaires déséquilibrées, ces deux gestes peuvent peser plus lourd que de changer d’architecture.

2) La voie “raisonnante” : LLMs en zéro‑shot, trois styles de prompting

Les auteurs conçoivent trois stratégies qui traitent la décision “subjectif vs objectif” comme un exercice de raisonnement plutôt qu’un simple logit : Annotation, DoubleDown, Perspective.

Annotation (modèle o3‑mini). On donne au LLM un jeu de 14 règles (indices linguistiques et rhétoriques) et on lui demande de classer la phrase avec explication. Si la réponse JSON échoue, un secours par mots‑clés récupère subjective/objective. Efficace, surtout quand les textes collent aux règles.

« We supply the model with the full set of 14 decision rules […]. »

DoubleDown (modèle gpt‑4.1‑mini). Plutôt que juger la phrase, le LLM la réécrit deux fois : une version subjective, une version objective. Puis un troisième prompt compare les deux et décide laquelle est la plus fidèle à l’original — la classe découle de cette préférence. C’est un peu comme jouer à pile ou face… mais avec deux faces en miroir.

« [DoubleDown] rewrites the sentence in both subjective and objective styles and infers the label […]. »

Perspective (toujours gpt‑4.1‑mini). Ici, le LLM produit deux analyses contradictoires (pourquoi subjective ? pourquoi objective ?), puis arbitre laquelle convainc le plus. Une sorte de procès miniature où le juge est… le modèle lui‑même.

« [Perspective] generates explanations for both possible interpretations and selects the label […]. »

Moralité : le prompting zéro‑shot ne remplace pas le finetuning ; il complète. Quand les consignes cadrent bien la tâche (italien), il peut briller. Quand la langue est éloignée des données/consignes, ou que les marqueurs de subjectivité diffèrent, les limites apparaissent (ukrainien, polonais en zéro‑shot).

Ce que disent les chiffres (sans mal de tête)

Les auteurs rapportent leurs soumissions officielles et quelques détails clés :

Italien (monolingue) : 1ère place, F1 = 0,8104, stratégie Annotation (o3‑mini).
Roumain (zéro‑shot) : F1 = 0,7917, 3e place, modèle XLM‑RoBERTa entraîné ailleurs.
Multilingue : macro‑F1 = 0,7186, au‑dessus de la baseline (XLM‑RoBERTa).
Allemand : F1 = 0,7269, German‑BERT + données traduites proches.
Anglais : la stratégie Annotation dépasse aussi la baseline (0,7228).
Ukrainien / Polonais (zéro‑shot) : légèrement sous les baselines.

Pris ensemble, ces résultats tracent une boussole utile : finetuner quand on peut (et augmenter les données avec des traductions pertinentes), prompter quand c’est rapide, peu coûteux en données, ou quand on cherche de la généralité avec explications.

Mise en perspective : à quoi ça sert (pour l’IA, la data, et… les jeux) ?

Dans la chaîne IA & data :

Modération & vérification. Séparer phrases opinionnelles de phrases factuelles aide les systèmes d’alignement et de fact‑checking. On peut diriger les énoncés factuels vers un pipeline de recherche/validation, et traiter les subjektifs avec des outils de stance ou sentiment.
Explicabilité. Les stratégies Annotation/Perspective produisent des justifications textuelles. Même si elles ne sont pas “preuves”, elles offrent des pistes pour un humain en boucle — précieux en rédaction, édition, ou audit de biais.
Internationalisation. L’approche German‑BERT + traductions montre une méthode pratique pour booster une langue sous‑dotée sans données natives supplémentaires — utile pour des équipes produit qui n’ont pas d’annotateurs partout.

Côté dev produit :

Seuils ajustables. Le passage à 0,45 pour SUBJ illustre un levier simple à exposer dans un service (un toggle “sensibilité à la subjectivité”). Selon l’usage, on peut favoriser le rappel ou la précision.
Coût/latence. Le finetuning coûte une fois, l’inférence LLM coûte à chaque appel. On peut imaginer un routeur : d’abord un petit transformer rapide, puis — seulement si doute — un LLM raisonneur (Annotation/Perspective) qui explique.

Et dans les créations de jeux ? Imaginez un RPG narratif qui surveille les dialogues écrits par les joueurs (ou générés) pour mesurer la subjectivité. Lorsqu’un PNJ commence à biaiser son récit — adjectifs qui enflamment, ironie mordante — le système peut adapter la réputation, déclencher un contre‑discours d’un autre PNJ, ou débloquer une quête “journalisme d’investigation”. Avec DoubleDown, le moteur réécrit une ligne plus objective et plus subjective puis choisit celle qui colle le mieux à l’intention : parfait pour varier le ton d’une scène sans casser la continuité.

Quelques citations choisies

« We explore two complementary approaches: supervised fine‑tuning […] and zero‑shot prompting with LLMs. »

« The Annotation Approach achieves 1st place […] with an F1 score of 0.8104. »

« We applied a reduced classification threshold of 0.45 for predicting the SUBJ label. »

« [DoubleDown] rewrites the sentence in both subjective and objective styles […]. »

« [Perspective] generates explanations for both possible interpretations […]. »

(Chaque extrait a été raccourci pour rester lisible ici.)

Limites (assumées) et pistes d’après

Zéro‑shot ≠ magie. Les LLMs raisonnent bien dans le cadre des consignes, mais hors‑distribution linguistique (ukrainien/polonais), la perf peut glisser sous la baseline. Données et proximités comptent encore énormément.
Traduire n’est pas neutraliser. Les traductions amplifient le volume, mais elles transportent des artefacts (ambigüités, register, idiomes) susceptibles de déformer les marqueurs de subjectivité. Moralité : traduire proche, vérifier souvent.
Explications ≠ vérité. Les justifications des LLMs sont utiles mais non garanties. Pour de l’audit sensible, garder l’humain dans la boucle reste une bonne pratique.

Conclusion : deux cerveaux valent mieux qu’un

Ce papier a le mérite de la sobriété efficace. D’un côté, un finetuning propre qui exploite au mieux les données (y compris traduites). De l’autre, des LLMs bien briefés, capables de décider et expliquer en zéro‑shot. Ensemble, ils montrent une ingénierie pragmatique : data augmentation raisonnée, seuils adaptés à la métrique, prompts qui transforment un bête “SUBJ/OBJ” en discussion argumentée.

Si vous construisez des systèmes multilingues — ou des jeux bavards — retenez cette boussole : finetune quand c’est possible, promptez quand c’est utile, et n’ayez pas peur de mixer les deux. Au pire, vous aurez un LLM qui vous explique pourquoi il s’est trompé ; au mieux, vous finirez premier en italien. Et ça, ça ne manque pas de caractère.

Références rapides

XplaiNLP at CheckThat! 2025…, arXiv : 2509.12130 (v1, 15 septembre 2025).
CheckThat! 2025 — Task 1 Subjectivity : définition, jeux de données, métrique (macro‑F1).