Apertus : démocratiser des LLM ouverts et conformes pour (vraiment) toutes les langues
Pourquoi ce papier vaut le détour
Dans la jungle des LLM, on confond souvent ouvert avec open bar. Beaucoup de modèles « ouverts » publient des poids… mais pas les données, ni les recettes, ni les garde-fous juridiques. Apertus arrive avec une promesse différente : un modèle vraiment ouvert, conçu pour respecter le consentement des créateurs de contenus et pour parler des centaines de langues au‑delà de l’anglais, tout en restant compétitif. En d’autres termes : un LLM pensé autant pour la science que pour le droit, autant pour un labo que pour un studio de jeux indé.
Le papier « Apertus: Democratizing Open and Compliant LLMs for Global Language Environments » et son rapport technique détaillent une feuille de route où la transparence n’est pas un slogan, mais un protocole : données traçables, filtres légaux, et même une stratégie anti-mémorisation durant l’entraînement. Oui, oui : ici, on apprend aux modèles à oublier intelligemment quand il le faut.
« pretrained exclusively on openly available data, retroactively respecting robots.txt exclusions. »
Résumé vulgarisé : l’idée, les méthodes, les résultats
L’idée en une phrase
Construire un LLM entièrement ouvert, juridiquement propre, et profondément multilingue, décliné en deux tailles (8B et 70B), entraîné sur 15 trillions de tokens couvrant plus de 1 800 langues, avec ≈40 % de données non anglophones, et des artefacts de recherche publiés (scripts, checkpoints, évaluations, code).
« training on 15T tokens from over 1800 languages »
Ce qui change (vraiment)
- Conformité des données, par design. L’équipe applique une politique de respect des robots.txt, y compris rétroactivement : si un site a ajouté un blocage en 2025, le contenu collecté des années avant est retiré du corpus. Résultat : une perte estimée d’environ 8 % de tokens côté anglais et 4 % côté multilingue – un coût assumé pour la conformité.
« The filtering process results in an estimated token loss of approximately 8% in English data and 4% in multilingual data. »
-
Moins de verbatim, plus de généralisation. Pendant le pré‑entraînement, Apertus adopte l’objectif Goldfish, une fonction de perte destinée à réduire la mémorisation littérale (le « copier‑coller » involontaire du corpus). L’idée : encourager l’apprentissage des règles plutôt que le perroquetage. Le papier affirme une baisse substantielle de la reproduction textuelle, sans sacrifier les performances aval.
-
Multilingue à grande échelle. Avec ≈40 % de non‑anglais et une couverture qui dépasse 1 800 langues, Apertus vise explicitement les langues peu dotées, où il montre des gains en traduction faible‑ressource et des comportements plus stables sur des benchmarks de sécurité multilingues (p. ex. LinguaSafe).
-
Tout publier, pour de vrai. Au‑delà des poids, scripts de préparation, jeux d’évaluation, checkpoints, code d’entraînement : la chaîne scientifique est publiée sous licence permissive, pour audit indépendant et réutilisation.
« we release all scientific artifacts from our development cycle »
Comment c’est fait ? (sans le jargon inutile)
La matière première. Le corpus s’appuie sur des sources publiques (FineWeb / FineWeb‑2 et compléments), passées dans plusieurs filtres : respect des robots.txt (avec une « machine à remonter le temps » appliquant les opt‑out actuels aux anciennes captures), anonymisation PII (e‑mails, IP, IBAN), filtrage de toxicité sur neuf langues.
La recette. Deux variantes de modèle : 8B et 70B paramètres. L’entraînement suit une recette moderne (optimiseur, curriculum, contexte long), puis un post‑training en deux volets : SFT (supervised fine‑tuning) et préférence/alignement, avec des jeux de données multilingues (y compris Romansh), et une attention particulière aux sujets sensibles.
Le twist “poisson rouge”. L’objectif Goldfish (oui, comme la mémoire réputée courte) intervient pendant l’entraînement – pas seulement après – pour décourager la mémorisation verbatim. C’est un peu comme apprendre à cuisiner : on garde la technique, pas la recette copiée mot à mot.
L’infra. L’entraînement a mobilisé l’infrastructure Alps du CSCS et des millions d’heures GPU (plus de 10 millions selon le communiqué), avec une plateforme MLOps robuste pour le suivi, le checkpointing et la reprise.
Et les résultats ?
Le papier annonce des performances proches de l’état de l’art parmi les modèles entièrement ouverts, en particulier sur les benchmarks multilingues, avec des progrès notables en traduction faible‑ressource. Côté sécurité, la batterie de tests inclut BBQ (biais), LinguaSafe (sécurité multilingue) et des analyses « Constitutional Harms ». L’objectif n’est pas d’être injailable (les guardrails de prod restent nécessaires), mais de fournir une base sûre et auditable.
« Most of today’s open models are, in fact, not open‑source or reproducible, but only open‑weights »
Enfin, tout est publié pour permettre la reproduction : modèles 8B/70B, recettes, évals, code. C’est rare à cette échelle, et ça change le quotidien des chercheurs et des ingénieurs.
Mise en perspective : pourquoi c’est utile pour l’IA, la data… et mes jeux
1) Pour les équipes IA & data : moins de zones grises, plus de vélocité
Dans la plupart des organisations, la conformité des données est la partie la moins glamour… et la plus bloquante. Apertus montre qu’on peut intégrer la conformité dès la recette : filtres de licence, opt‑out rétroactif, suppression PII, métriques d’impact (perte de tokens). Résultat : un socle légalement plus “propre” pour bâtir des produits – y compris dans des secteurs sensibles (santé, éducation, service public). Le communiqué insiste sur l’alignement avec les obligations de transparence du futur EU AI Act et un usage possible commercial.
Métaphore maison : imaginez un restaurant dont la cuisine est ouverte au public : vous voyez les ingrédients, la fiche technique, la température du four, et même les tests sanitaires. Apertus fait pareil pour le ML kitchen, ce qui facilite audit, debug, et transfert.
2) Pour le développement logiciel : une base vraiment réutilisable
Parce qu’Apertus publie scripts et checkpoints, on peut forker la recette, tester des variantes, ou spécialiser le modèle à moindre coût. Besoin d’un contexte long, d’un vocabulaire métier, d’un style rédactionnel ? La transparence réduit l’itération au concret : on ne devine plus ce qui se cache dans les données, on le sait.
3) Pour la science des données : un terrain d’expérimentation rare
L’accès au pipeline complet (pré‑traitements, filtres, mélange des langues) permet d’étudier l’impact causal de chaque choix : que se passe‑t‑il si l’on augmente la part d’une famille de langues, si l’on resserre la détection PII, si l’on relâche Goldfish ? Comme le papier fournit mesures de perte suite aux filtres (8 % / 4 %), on peut quantifier le compromis compliance ↔ performance.
4) Pour les créateurs de jeux (oui, vous)
Les langues peu dotées sont un puits de créativité : noms d’objets, proverbes, quêtes, PNJ qui parlent vraiment la langue du coin (Romansh, dialectes suisses, langues régionales africaines, etc.). Un LLM qui comprend plus de 1 800 langues devient un générateur de mondes. Vous pouvez :
- Prototyper des dialogues de PNJ en dialecte puis revenir à la VO en un clic.
- Localiser un jeu indé sans casser votre budget (8B pour le runtime, 70B pour le polish).
- Limiter le risque juridique en évitant la réutilisation verbatim de contenus web protégés grâce à l’objectif Goldfish.
5) Pour la société : l’IA comme infrastructure publique
ETH/EPFL et CSCS insistent : Apertus est accessible via Swisscom, Hugging Face et le réseau Public AI – et porté par une initiative nationale, avec >10 millions d’heures GPU investies. C’est l’idée d’un bien commun numérique : un modèle public, auditable, qui sert de socle aux écosystèmes locaux.
Quelques détails croustillants (mais utiles)
- Robots.txt “avec rétroviseur” : on télécharge les robots.txt de janvier 2025 et on applique leurs règles à l’ensemble des captures 2013–2024. C’est audacieux techniquement et juridiquement élégant.
- Opt‑out assumé : si un domaine est muet ou down, le contenu est conservé (opt‑out policy). Impact net : −8 % (anglais) et −4 % (multilingue).
- Sécurité : la démarche privilégie la mesure à la magie. Tests BBQ (biais), LinguaSafe (sécurité multilingue). L’équipe ne promet pas l’immunité aux jailbreaks (ça relève des guardrails en prod), mais une base saine.
- Ouverture : tout (ou presque) est publié sous licence permissive. C’est rare à cette échelle.
« designed to yield Apertus LLMs that comply with data provisions of the EU AI Act »
Ce que j’en retiens (le TL;DR avec une métaphore)
Apertus, c’est un orchestre plutôt qu’un soliste. On n’a pas simplement ajouté un plugin multilingue à un modèle anglophone. On a reçu (et trié) des partitions venues de 1 800+ langues, on a accordé les instruments pour éviter les fausses notes juridiques (robots.txt, PII, licences), et on a demandé au batteur d’oublier certains breaks (Goldfish) pour qu’il improvise sans recopier. Le résultat : une musique qui s’adapte mieux aux scènes locales, et que d’autres chefs d’orchestre peuvent reprendre, analyser et améliorer.
« Apertus is built for the public good… multilingualism, transparency, and compliance as foundational design principles. »
Citations choisies
« pretrained exclusively on openly available data, retroactively respecting robots.txt exclusions. »
« The filtering process results in an estimated token loss of approximately 8% in English data and 4% in multilingual data. »
« Most of today’s open models are, in fact, not open‑source or reproducible, but only open‑weights »
« training on 15T tokens from over 1800 languages »
« designed to yield Apertus LLMs that comply with data provisions of the EU AI Act »
Conclusion (avec clin d’œil)
Apertus n’est pas « encore un LLM ». C’est une démo politique et technique : on peut construire un modèle puissant sans flouter la provenance des données, on peut viser les langues du monde réel (pas seulement les bancs d’essai), et on peut tout documenter pour que d’autres s’en emparent. La balle est maintenant dans le camp des communautés : universités, start‑ups, services publics, studios indés… Bref, si votre jeu a besoin d’un PNJ en romanche qui ne récite pas Wikipédia, ou si votre appli doit passer l’audit de la future réglementation, Apertus mérite une place dans votre toolbox.
Et si vous vous demandez « Pourquoi Goldfish ? », souvenez‑vous : au poker comme en IA, savoir oublier est parfois le meilleur moyen de mieux jouer. 🐟
Références principales
- ArXiv : Apertus: Democratizing Open and Compliant LLMs for Global Language Environments (v1, 17 septembre 2025).
- Rapport technique : Apertus v0.1 Technical Report.
- Communiqué ETH Zurich : A fully open, transparent, multilingual language model.