Births are difficult to predict — Plafond de prédictibilité : pourquoi 147 chercheurs et les registres de tout un pays n'arrivent pas à deviner qui aura un bébé
Imaginez qu'on vous donne tout. Pas un échantillon, pas un sondage : les registres administratifs complets d'un pays européen, remontant à 1994. Impôts, emploi, logement, diplômes, allocations, composition du ménage, voisinage, et jusqu'aux liens familiaux qui permettent de savoir si la sœur de quelqu'un vient d'accoucher. Près de six millions de personnes âgées de 18 à 45 ans. Ajoutez un supercalculateur national, une petite armée de démographes, de sociologues et de data scientists, et une question d'une simplicité désarmante : parmi ces gens, qui aura un enfant dans les trois prochaines années ?
Si vous pensez que la réponse s'écrit avec un joli score proche de 1, ce papier va vous faire l'effet d'une douche froide, mais d'une douche froide instructive. Le meilleur modèle construit sur ces registres géants obtient un F1 de 0,59. Un simple panel d'enquête de quelques centaines de personnes fait mieux. Un transformer entraîné sur des trajectoires de vie et un grand modèle de langage affiné ne dépassent pas une bonne vieille forêt d'arbres boostés. Et, cerise sur le gâteau, les auteurs démontrent que même un oracle parfait ne pourrait pas atteindre 1, parce que la biologie de la conception tire les dés à chaque cycle.
Le papier s'intitule « Births are difficult to predict even with rich survey and full-population register data ». Il est signé par Elizaveta Sivak, Emily M. Cantrell, Thomas Emery, Javier Garcia-Bernardo et une centaine de coauteurs, jusqu'à Matthew J. Salganik et Gert Stulp, et a été déposé sur arXiv le 1er septembre 2026. Il raconte le bilan d'un data challenge nommé PreFer, pour « Predicting Fertility in the Netherlands ».
Le dispositif : un concours de prédiction avec deux jeux de données très différents
L'idée d'un data challenge (un concours ouvert où des équipes rivalisent sur une même tâche, comme sur Kaggle) n'est pas nouvelle en sciences sociales. Le précédent le plus célèbre, le Fragile Families Challenge mené par Salganik et ses collègues en 2020, avait déjà montré que des centaines d'équipes peinaient à prédire des trajectoires d'enfants américains. La critique classique était : les données étaient trop petites, trop bruitées. PreFer a été conçu pour lever cette objection.
La tâche est la même pour tout le monde : à partir de données arrêtées fin 2020, prédire si une personne âgée de 18 à 45 ans a eu au moins un nouvel enfant, biologique ou adopté, entre 2021 et 2023. Deux sources de données, et donc deux phases.
La phase enquête utilise le panel LISS, une enquête longitudinale représentative des ménages néerlandais, avec dix modules annuels ou biennaux depuis 2007 couvrant famille, travail, revenu, santé, religion, personnalité, valeurs politiques. C'est riche en informations subjectives, notamment les intentions de fécondité : voulez-vous un enfant, et quand ? Le revers, c'est la taille. Sur 6 877 membres du panel dans la tranche d'âge, seuls 1 382 avaient un résultat connu en 2023, à cause de l'attrition. Le jeu d'entraînement contenait 987 personnes avec une issue connue, le jeu de test 395.
La phase registre puise dans les données de Statistics Netherlands, l'un des jeux de données sociales les plus détaillés du monde. Population cible : 5 878 530 résidents. Découpage 70/30 par ménage pour éviter les fuites, soit environ 4 millions de cas d'entraînement et 1 million de test. Les auteurs ont volontairement exclu les données médicales sensibles, comme les prescriptions et les dépenses de santé.
Côté participation, l'enquête a attiré 147 participants répartis en 41 équipes, qui ont envoyé 69 soumissions valides entre avril et septembre 2024, sous forme de conteneurs Docker exécutés sur le jeu de test, avec cinq essais maximum pour éviter le surapprentissage sur le holdout. Pour les registres, l'accès étant ultra-restreint, cinq équipes sélectionnées sur leurs résultats intermédiaires plus sept équipes d'une école d'été ont travaillé dans un environnement sécurisé sur le supercalculateur national Snellius, avec une seule soumission chacune. Douze équipes, onze soumissions valides.
La métrique est le F1 sur la classe positive, c'est-à-dire la moyenne harmonique de la précision (parmi ceux que je prédis parents, combien le sont vraiment) et du rappel (parmi les vrais parents, combien ai-je attrapés). C'est le choix naturel quand l'événement est rare : seulement 15 % des gens du registre et 22 % du panel ont eu un enfant sur la période.
Les résultats : modestes, et étonnamment insensibles à la sophistication
Les chiffres clés tiennent en une ligne. Meilleur F1 sur registres : 0,59. Meilleur F1 sur enquête : 0,76. Dans les deux cas, le vainqueur est un ensemble d'arbres de décision boostés par gradient (gradient-boosted trees, la famille de XGBoost et LightGBM), autrement dit la technologie qui gagne les concours tabulaires depuis dix ans.
Ce qui rend le résultat piquant, ce sont les concurrents qui n'ont pas gagné. Deux équipes avaient sorti l'artillerie moderne pour exploiter la structure longitudinale des registres : un transformer entraîné sur des séquences de vie encodées en langage symbolique, dans la lignée de life2vec, et un grand modèle de langage (LLM) affiné sur des parcours de vie traduits en texte. Les deux plafonnent à 0,57, sous les 0,59 des arbres. Toute l'ingénierie de l'attention n'a pas trouvé, dans ces vingt-cinq ans de trajectoires, un signal que les arbres auraient manqué.
Il faut être juste avec ces modèles : ils font tous beaucoup mieux qu'une baseline démographique naïve, une régression logistique sur l'âge, le sexe, le nombre d'enfants existants, l'âge du dernier, la situation de couple et le diplôme. Cette baseline obtient 0,19 sur les registres et 0,25 sur l'enquête. Les meilleurs modèles la triplent.
Mais regardons ce que 0,59 veut dire concrètement. Le meilleur modèle sur registres identifie 64 % des personnes qui ont effectivement eu un enfant, et parmi celles qu'il désigne comme futurs parents, seulement 55 % le deviennent. Autrement dit, si une administration utilisait ce modèle pour cibler une politique nataliste, presque une personne ciblée sur deux serait à côté. Le modèle enquête est plus précis (91 % de ses prédictions positives sont justes) mais son rappel reste à 66 %. Un tiers des futurs parents passe sous le radar.
Le petit sondage bat le registre géant
C'est probablement le résultat le plus contre-intuitif pour quiconque baigne dans le discours « plus de données, meilleurs modèles ». Le panel LISS, avec ses 987 exemples d'entraînement, surpasse les 4 millions de lignes du registre.
Les auteurs ne se sont pas contentés de constater. D'abord, ils ont vérifié que ce n'était pas un artefact de la prévalence, puisque le F1 est sensible au taux de positifs (22 % contre 15 %). En récupérant les résultats manquants du panel via le registre pour ramener la prévalence d'entraînement à 15 %, le F1 enquête descend à 0,68. En retirant aussi des cas positifs du holdout pour matcher exactement, il tombe à 0,63. Toujours au-dessus de 0,59. Ensuite, ils ont fait la comparaison la plus propre possible : comme le panel est chaîné aux registres, on peut évaluer les deux meilleurs modèles sur les mêmes personnes. Le modèle registre y fait moins bien, avec une erreur quadratique supérieure de 0,03.
D'où vient l'avantage de l'enquête ? D'une seule variable, ou presque : l'intention de fécondité. Une régression logistique qui n'utilise que la réponse à « voulez-vous un enfant, et quand » atteint déjà un F1 de 0,64. Seuls 38 % des modèles soumis ont fait mieux que cette baseline, et le vainqueur ne la dépasse que de 19 %. Quand les auteurs ont réentraîné deux des meilleurs modèles sans cette variable, la performance s'est effondrée. Personne n'a réussi à reconstituer l'intention à partir des autres variables.
Les auteurs en tirent une lecture élégante : l'intention déclarée fonctionne comme un résumé compressé de facteurs latents, comme le coût perçu d'un enfant ou la solidité d'un couple, que ni le registre ni le reste de l'enquête ne mesurent. Le registre sait tout de votre fiche de paie, rien de vos envies.
Notez au passage que le registre a besoin de sa taille pour tenir son score : entraîné sur un échantillon de la taille du panel, le meilleur modèle registre chute à 0,50.
Ni plus de données, ni plus de modèles, ni la sagesse des foules
Ce qui fait la valeur de ce papier, c'est la méthode d'élimination des explications faciles.
La taille de l'échantillon ? Les courbes d'apprentissage (learning curves, le F1 en fonction du nombre d'exemples d'entraînement) sont plates au-delà d'environ 100 000 observations pour les registres, et au-delà d'environ 1 000 pour l'enquête, dont les auteurs ont pu gonfler l'entraînement de 987 à 1 688 cas grâce au chaînage. Multiplier les données par quarante ne change presque rien.
L'algorithme ? Sur les registres, des approches très différentes convergent vers le même niveau. Et surtout, elles se trompent sur les mêmes personnes. Dans le holdout registre, 37 049 personnes ayant eu un enfant sont ratées par les cinq meilleurs modèles à la fois, et 9 724 faux positifs sont partagés par tous. Sur l'enquête, 21 % des futurs parents sont manqués par l'ensemble du top 5. Une carte thermique des 26 modèles battant la baseline intentions montre les mêmes lignes rouges : certains individus sont simplement opaques à tous les modèles.
L'assemblage ? Les auteurs ont testé trois stratégies d'ensembling (agrégation des prédictions, prédictions d'un modèle comme features d'un autre, fusion des variables). Aucune n'apporte de gain, alors même que certains cas mal classés par un modèle sont bien classés par un autre. La sagesse des foules ne fonctionne que si les erreurs sont indépendantes. Ici, elles sont corrélées, ce qui suggère que le bruit vient des données ou du monde, pas des modélisateurs.
Le mariage des deux sources ? C'est le seul levier qui bouge un peu. En injectant la probabilité prédite par le modèle registre comme variable supplémentaire dans le modèle enquête, le F1 passe de 0,63 à 0,68 sur les cas communs. Un gain réel, mais qui reste loin de la perfection.
Simuler la loterie biologique pour trouver le plafond
Voici la partie la plus originale. Si les données et les algorithmes ne sont pas les principaux coupables, reste le suspect que les sciences sociales détestent nommer : le hasard.
Les auteurs ont construit une simulation de population synthétique, une sorte de jeu de société démographique. Chaque agent est tiré au sort parmi 1 231 femmes réelles du panel LISS et n'a que trois attributs : son âge, si elle a un partenaire, et son intention d'avoir un enfant dans les trois ans. Puis on laisse jouer la biologie, avec des paramètres issus de la médecine de la reproduction :
- La fécondabilité (fecundability), la probabilité mensuelle de concevoir lors de rapports non protégés, tirée d'une distribution empirique à 15 ans et déclinant avec l'âge jusqu'à un âge de stérilité lui aussi tiré au sort.
- La survie fœtale, la probabilité qu'une conception aboutisse à une naissance vivante, traitée comme un événement aléatoire dépendant de l'âge.
- L'échec contraceptif pour les agents en couple qui ne veulent pas d'enfant, calibré sur la part de naissances non planifiées.
Dans ce monde simplifié, tout est connu : les agents en couple qui veulent un enfant essaient sans interruption pendant trois ans, ceux sans partenaire n'ont aucune naissance, et les intentions ne changent jamais. Deux agentes identiques peuvent pourtant finir avec des destins différents, l'une enceinte dès le premier mois, l'autre pas encore au bout de trois ans. On entraîne ensuite une régression logistique sur ces trois variables, on mesure son F1 sur un holdout simulé, et on répète cent fois par bootstrap. Ce F1 est le plafond : c'est ce que ferait un modèle qui connaîtrait parfaitement tous les déterminants, la seule erreur restante étant celle des dés.
Le résultat dépend d'un paramètre délicat, la part des naissances dues à un échec contraceptif. Aux Pays-Bas, 17 % des naissances sont estimées non planifiées, mais toutes ne relèvent pas d'un accident aléatoire : certaines viennent d'une absence de contraception ou d'un usage incorrect, qui dépendent de l'âge, du diplôme et du revenu, et sont donc en partie prévisibles. Dans le panel, 3,6 % des femmes en couple qui ne s'attendaient pas à un enfant en ont quand même eu un. Les auteurs balaient donc toute la plage :
| Scénario | Plafond F1 enquête | Plafond F1 registre |
|---|---|---|
| 1 % de naissances par échec contraceptif | 0,94 | 0,963 |
| 17 % (toutes les non planifiées) | 0,86 | 0,881 |
Deux enseignements. D'abord, même dans l'hypothèse la plus optimiste, le plafond n'est pas 1 : la biologie seule interdit un F1 supérieur à 0,96. Ensuite, et c'est honnête de leur part, l'écart entre 0,76 et 0,86-0,94 ne s'explique pas par ce hasard biologique. Une large part de la marge reste imputable aux données imparfaites, aux méthodes, ou à d'autres formes de hasard non modélisées. Pour combler cet écart, il faudrait faire passer le rappel de 66 % à quelque part entre 83 % et 99 % sans perdre en précision. Sur toute la durée du challenge, le rappel n'a progressé que de 8 points.
Pourquoi ce papier compte
Ce papier est un antidote à deux fantasmes symétriques. Le premier est celui de la Silicon Valley : avec assez de données et un assez gros modèle, tout devient prédictible, y compris les vies humaines. PreFer montre qu'un pays entier, un supercalculateur et des transformers ne suffisent pas, et que la contrainte n'est ni le volume ni l'algorithme. Pour ceux qui s'inquiètent du profilage administratif, c'est plutôt rassurant : les registres savent moins de choses sur nos projets de vie que nous-mêmes quand on nous pose la question.
Le second fantasme est celui de certains chercheurs en sciences sociales : si on n'arrive pas à prédire, c'est que les théories sont incomplètes ou les mesures mauvaises, et il suffirait de faire mieux. Le papier introduit une notion que les physiciens et les biologistes manient depuis longtemps mais que la sociologie ignore presque : l'incertitude aléatoire (aleatoric uncertainty), celle qu'aucune donnée supplémentaire ne réduira, par opposition à l'incertitude épistémique, due à notre ignorance. Les auteurs plaident pour que le hasard obtienne une place dans les théories de la fécondité, et plus largement dans les théories sociales.
Enfin, PreFer est pensé comme un banc d'essai réutilisable. Les registres sont mis à jour en continu, la même tâche peut être relancée sur les cohortes suivantes, avec de nouvelles méthodes. On saura ainsi si les naissances deviennent plus ou moins prévisibles au fil des ans, et donc si les mécanismes qui les gouvernent se stabilisent ou se déplacent.
Les bémols, dont ceux que les auteurs reconnaissent
Le plafond est un modèle, pas une mesure. Les auteurs listent eux-mêmes quatre raisons pour lesquelles il est probablement trop optimiste : ils utilisent des estimations élevées de fécondabilité, supposent des intentions parfaitement stables et des couples qui essaient sans relâche pendant trois ans, ignorent les corrélations entre fécondabilité, âge de stérilité et pertes de grossesse. Chacune de ces simplifications, si on la levait, ajouterait de la variance imprévisible et abaisserait le plafond.
À l'inverse, une partie de ce qu'ils appellent hasard est peut-être de l'ignorance : la fécondabilité et les fausses couches dépendent en partie de la génétique et de l'environnement, qu'on pourrait un jour mesurer. Les auteurs répondent avec une nuance appréciable : même si ce n'est pas irréductible en théorie, cela exigerait des données au niveau du cycle menstruel ou de la cellule qui resteront inaccessibles en pratique.
La simulation ne modélise que la physiologie. Le hasard qui frappe l'emploi, la santé ou la formation des couples n'est pas compté, ce qui va dans le sens d'un plafond encore plus bas. Et la fraction de naissances dues à un échec contraceptif, paramètre central, est mal connue, d'où une fourchette large.
Côté challenge, les données médicales ont été exclues, ce qui laisse un doute sur ce qu'un registre de santé aurait apporté. Une fuite résiduelle a été identifiée dans la façon dont Statistics Netherlands repère les partenaires cohabitants non enregistrés. La phase registre n'a compté que douze équipes avec une seule soumission chacune, et les auteurs admettent que leur conclusion sur les algorithmes pourrait ne pas tenir avec davantage de calcul et de données. Enfin, le panel enquête souffre d'une attrition massive : sur 6 877 personnes éligibles, seules 1 382 ont une issue connue, et rien ne dit que celles qui restent sont représentatives.
Ce qu'on va surveiller
La suite logique est double. D'abord, une prochaine édition de PreFer sur les cohortes 2024-2026, avec les mêmes registres mis à jour, pour voir si le 0,59 bouge. Ensuite, la piste la plus prometteuse selon les auteurs eux-mêmes : marier les deux sources, puisque le seul gain observé venait de là, et tenter d'y ajouter des données de santé ou, un jour, génétiques, avec toutes les questions éthiques que cela soulève.
Mais l'idée à retenir est plus large que la démographie. Chaque fois qu'un modèle prétendra prédire un événement de vie individuel, une rupture, une maladie, un abandon scolaire, il faudra se demander non seulement s'il est bon, mais où se trouve le plafond, et quelle part du chemin restant est de l'ignorance réparable plutôt que de la chance pure. PreFer offre une recette pour calculer ce plafond. C'est peut-être sa contribution la plus durable : rappeler que, même avec toutes les données du monde, une naissance reste en partie un coup de dés.
Référence : Sivak, E., Cantrell, E. M., Emery, T., Garcia-Bernardo, J., Hafner, F., Karpinska, K., Lüken, M., Mendrik, A., Mulder, J., Ren, H., … Salganik, M. J., Stulp, G. « Births are difficult to predict even with rich survey and full-population register data », arXiv:2609.01194, déposé le 1er septembre 2026. https://arxiv.org/abs/2609.01194