Quand Zipf rencontre les tokenizers : et soudain les modèles pré‑entraînés chantent juste

Ou comment une vieille loi statistique vient régler une querelle moderne sur la taille du vocabulaire.

Pourquoi ce papier est un petit événement

Dans le monde des modèles pré‑entraînés, on passe souvent plus de temps à parler d’architectures et de GPU qu’à discuter d’un ingrédient pourtant décisif : la tokenisation. C’est elle qui découpe le texte (ou la séquence) en unités, comme un chef qui choisit la taille des dés pour sa ratatouille. Trop fin ? On perd la texture. Trop gros ? Le goût ne diffuse pas. Idem en IA : un vocabulaire trop petit éclate tout en miettes, un vocabulaire trop grand encombre la mémoire.

Le papier “Pre-trained Models Perform the Best When Token Distributions Follow Zipf’s Law” (He, Zeng, Jiang, 2025) apporte un critère simple, général et testable : les modèles performent au mieux quand la distribution des tokens suit la loi de Zipf. Et ce n’est pas qu’une idée jolie : les auteurs montrent la corrélation dans trois domaines (NLP, génomique, chimie) et proposent une méthode concrète pour choisir la taille de vocabulaire. Bref, une boussole là où on naviguait au pifomètre.

I'm the law !

L'esprit de la loi

Zipf, c’est cette vieille observation : le 2ᵉ mot le plus fréquent apparaît ~deux fois moins que le 1ᵉʳ, le 3ᵉ trois fois moins, etc. Sur un graphique log‑log, cette loi de puissance apparaît comme une droite. Pensez‑la comme la portée musicale du langage : quelques notes très jouées, une longue traîne de notes rares. Lorsque nos tokens respectent cet équilibre, l’orchestre (le modèle) joue plus juste.

L’hypothèse

Les auteurs posent deux hypothèses très pragmatiques :

Plus on augmente la taille du vocabulaire, plus la courbe rang‑fréquence se redresse et tend vers une droite ;
Les meilleures performances surviennent quand cette courbe est la plus “Zipfienne”.

Et ils ne s’arrêtent pas là : ils introduisent un score d’alignement Zipf (basé sur un R² de régression linéaire en log‑log) pour mesurer automatiquement cet “accord”. On élargit le vocabulaire pas à pas et on s’arrête quand le score n’augmente plus de façon significative : la taille retenue est alors Vₒₚₜ. Dit autrement, c’est un thermostat : on tourne le bouton tant que la pièce se rapproche de la bonne température, puis on s’arrête.

« We introduce the Zipf alignment score, which quantifies how closely a tokenizer’s frequency distribution fits a power-law on a log-log plot. »

Les résultats qu’on retient

NLP (GLUE, traduction) : la performance suit la montée du R². En traduction En↔Fr, la BLEU grimpe jusqu’à ~38 autour de ~100k tokens, pendant que R² ~ 0,96–0,97 ; au‑delà, on observe surtout un plateau. Moralité : grossir le vocabulaire aide… jusqu’à l’alignement Zipfien, ensuite c’est du rendement décroissant.
Génomique : optimal autour de ~4 000 tokens sur 5 tâches sur 8, R² cesse de progresser après ce seuil. Ça confirme que la “bonne granularité” n’est ni des nucléotides isolés partout, ni des macro‑morceaux indistincts.
Chimie (SMILES) : point d’inflexion à ~3 000 tokens : au‑dessus, les performances rebaissent légèrement. En pratique, 3 000 semble l’endroit où la représentation capte les groupements fonctionnels sans sur‑fusionner des séquences qui traversent des sous‑structures chimiques.

« As the vocabulary increases, the curve straightens and approximates a linear trend. »

« The token rank-frequency distribution can serve as a prior indicator of a pre-trained model’s performance on downstream tasks. »

Pourquoi c’est crédible (et pas juste joli)

Le papier ne se limite pas au texte : mêmes tendances en ADN et en molécules. Et il s’inscrit dans un mouvement récent : d’autres travaux ont montré que des métriques “Zipf‑aware” prédisent mieux la qualité de tokenizers que des heuristiques historiques (fertility, parity, compression). On sort de la simple compression et on touche à la structure statistique utile pour l’apprentissage.

Comment ça marche sous le capot (sans faire saigner les yeux)

Imaginez que vous entraîniez un tokenizer BPE comme d’habitude. Cette fois, vous surveillez le R² entre votre courbe rang‑fréquence en log‑log et une droite. Tant que R² augmente suffisamment (au‑delà d’un petit ε) à chaque série de fusions, vous continuez. Dès que ça stagne pendant N étapes, vous coupez le chauffage : vous gardez cette taille de vocabulaire.

C’est tout. Pas de magie noire. En sortie, vous obtenez une taille calibrée par les données plutôt qu’une valeur par défaut (“50k parce que tout le monde le fait”). Les auteurs donnent même les grandes lignes d’un pseudo‑algorithme et des détails expérimentaux (je vous épargne la liste des GPU), l’essentiel étant : calibrer la granularité pour rapprocher la distribution des tokens d’une Zipf loi‑de‑puissance “bien droite”.

Mise en perspective pour l’IA, le dev, la data…

Pour les praticiens NLP

Choisir le vocabulaire : au lieu de lancer trois tailles au hasard, faites une passe Zipf. Mesurez R² à plusieurs paliers et repérez le plateau. Avec un petit script, cette étape devient un pré‑diagnostic qui vous évite des semaines de pré‑entraînement sous‑optimal.
Contrainte ressource : si votre parc GPU est limité, un vocabulaire “juste‑ce‑qu’il-faut” économise des tokens par séquence sans sur‑fusionner des patterns artificiels. C’est de l’ergonomie pour modèle : on taille les meubles à la pièce, pas l’inverse.

Pour la génomique

Les séquences ADN sont un cas d’école : trop fin (k‑mers minuscules), on perd des motifs biologiques ; trop gros, on colle des choses qui ne vont pas ensemble. Le sweet spot à ~4 000 tokens (ici) montre comment un critère purement statistique retrouve une granularité biologique pertinente. On laisse la structure des données guider la coupe.

Pour la chimie

Le résultat à ~3 000 tokens raconte la même histoire avec des groupements fonctionnels. Les exemples de tokenisation de SMILES sont parlants : trop petit → puzzles chimiques illisibles ; trop grand → méga‑tokens qui traversent plusieurs sous‑structures et brouillent la chimie. Zipf sert ici d’entonnoir à bon sens.

Pour la data science au sens large

Quand on modélise des séquences (logs, clics, traces IoT), on retrouve souvent des lois de puissance. L’idée de ce papier : calibrer la granularité de discretisation (les “tokens” de vos séries d’événements) pour retrouver une Zipf “droite” pourrait stabiliser l’apprentissage et améliorer les prédictions, avant même d’entraîner un réseau sophistiqué. Autrement dit : aligner la représentation sur la structure statistique du domaine.

Limites, nuances, pistes

Zipf n’est pas une baguette magique : les distributions rang‑fréquence réelles ne sont jamais parfaitement linéaires, parfois par morceaux (changements de pente selon les classes de tokens). L’important est la tendance et le plateau du R², pas l’obsession de la perfection.
Dépendances au domaine : les valeurs (3 000 en chimie, 4 000 en ADN, ~100k en traduction large) ne sont pas universelles. On calibre pour son corpus et son budget.
Mesures “intrinsèques” vs performance : ce papier et des travaux récents montrent que les métriques sensibles à Zipf s’en sortent mieux que des critères historiques (compression, fertility, etc.). C’est une piste solide pour refonder nos check‑lists de tokenizer.

Conclusion

Si votre tokenizer est un couteau, Zipf vous donne l’angle d’affûtage. Ni coupe‑papier, ni sabre d’apparat : un tranchant juste, adapté au matériau. J’aime ce papier parce qu’il ramène la modestie : pas besoin d’une nouvelle usine à gaz, juste regarder la musique des données — et s’aligner sur elle.

La prochaine fois que vous préparez un modèle : tracez votre loi de Zipf, faites monter R², arrêtez‑vous au plateau. L’orchestre jouera en rythme, vos GPU vous remercieront, et vos utilisateurs aussi. Et si quelqu’un vous demande “pourquoi 37 842 tokens ?”, vous pourrez répondre, sourire en coin : “Parce que Zipf a dit que la partition sonnait juste.”

Références clés citées dans le texte : He, Zeng, Jiang (2025). Pre-trained Models Perform the Best When Token Distributions Follow Zipf’s Law. arXiv. Lotz et al. (2025). Beyond Text Compression: Evaluating Tokenizers Across… ACL.

Slug

loi-de-zipf-tokenisation-modeles-pre-entraines

metaDescription (≈157 caractères)

Pourquoi les modèles pré-entraînés performent mieux quand la distribution des tokens suit la loi de Zipf. Méthode, résultats et conseils pratiques et clairs.

keywords (5–8)

["loi de Zipf", "tokenisation", "modèles pré-entraînés", "LLM", "intelligence artificielle", "data science", "NLP", "taille de vocabulaire"]

ogTitle (≈67 caractères)

Zipf au secours des tokens : trouver la bonne taille de vocabulaire

ogDescription (≈134 caractères)

Comment la loi de Zipf guide la tokenisation pour booster les modèles pré-entraînés. Pédago, résultats concrets et clin d’œil ludique.