UDE : un « foundation model » pour séries temporelles qui voit le temps en 2D

parce que parfois, pour mieux comprendre le temps… il faut le mettre à plat.

Pourquoi ce papier m’a accroché

Si vous avez déjà tenté de prédire la météo, la charge d’un serveur, ou le nombre de bananes vendues un mardi pluvieux, vous savez que les séries temporelles aiment nous jouer des tours. Le papier “A Time-Series Foundation Model by Universal Delay Embedding (UDE)” propose une pirouette élégante : au lieu de courir derrière le temps, on le déplie en images, puis on le prédit avec de l’algèbre linéaire. Oui, dit comme ça, on dirait un tour de magie. Mais c’est un tour mathématiquement fondé.

Deux ingrédients clés : (1) l’embedding par retards (Takens), qui reconstruit l’état d’un système à partir d’une simple suite d’observations ; (2) l’opérateur de Koopman, qui dit en gros : « même si le monde est non linéaire, il existe un espace où son évolution devient linéaire ».

UDE marie les deux avec les Transformers. Résultat : un foundation model pour séries temporelles qui se veut généraliste, performant et interprétable. Les auteurs annoncent « over 20% average reduction in mean squared error versus state-of-the-art foundation models » sur des benchmarks variés et des données climatiques, avec une bonne généralisation en fine‑tuning.

Dessine moi un mouton, ou autre chose, je ne suis pas sectaire...

L’idée est simple à raconter, plus subtile à exécuter. UDE convertit une série temporelle en une image. Comment ? En construisant des matrices de Hankel — pensez à une grande nappe où chaque ligne est une version « décalée » dans le temps de vos observations. On y découpe ensuite des patchs (comme des carrés de tissu), qui deviennent les tokens d’un encodeur à auto‑attention. Les auteurs écrivent que UDE « constructs two‑dimensional subspace patches from Hankel matrices ».

Après l’encodeur, UDE applique une prédiction guidée par l’opérateur de Koopman : en espace latent, la dynamique non linéaire devient linéaire (ou du moins, suffisamment proche pour prédire efficacement). Pour reprendre leurs mots, cela « enables accurate prediction of nonlinear time-series by a finite-dimensional Koopman operator in a linear manner in a latent space ».

Le bénéfice ? On profite du meilleur des deux mondes : la richesse expressive des représentations apprises par Transformer et la simplicité calculatoire d’une évolution linéaire (Koopman) une fois dans le bon espace.

Et, cerise sur le gâteau, les patchs « image » permettent d’exploiter tout l’écosystème vision (pré‑entraînement, architectures, optimisations) sans trahir la dynamique temporelle sous‑jacente.

Méthodologie

De la série au plan. Imaginez votre série comme une mélodie. La matrice de Hankel empile la mélodie décalée de quelques notes à chaque ligne : on obtient un paysage 2D bourré de motifs récurrents. Dans ce paysage, on prélève des patchs (fenêtres locales) qui capturent des sous‑espaces significatifs de la dynamique. Ces patchs sont les unités de sens de UDE.
Tokens et auto‑attention. Chaque patch devient un token pour un encodeur Transformer. L’auto‑attention apprend quelles régions « se parlent » à travers le temps et les retards. C’est un peu comme demander à un orchestre : quelles sections doivent s’écouter pour garder le tempo ?
Koopman en latent. Dans l’espace latent (les représentations produites par l’encodeur), UDE apprend un opérateur de Koopman de dimension finie qui fait avancer l’état. L’avantage : prédire revient à appliquer une matrice — rien de plus linéaire !
Rendu / décodage. On projette ces états latents « avancés » vers les valeurs futures de la série. Et comme les patchs préservent théoriquement des propriétés dynamiques et topologiques (merci Takens), on garde de la structure et de la cohérence dans les prédictions. Les auteurs insistent sur la préservation topologique et la robustesse des sous‑espaces identifiés.
Interprétabilité. Parce que les patchs correspondent à des sous‑espaces concrets, on peut visualiser et interpréter quelles parties du signal portent la dynamique utile. Les auteurs parlent d’une « consistent identification of topologically informative subspaces ».

Qu’est‑ce qui est vraiment nouveau ici ?

La littérature « foundation models » pour séries temporelles explose : certains réforment le problème en images pour réutiliser des modèles vision (p. ex. VisionTS++), d’autres unifient diffusion et Transformer (TimeDiT), d’autres encore jouent la carte encoder‑decoder à grande échelle (TimeFound), ou la famille MOMENT pour l’analyse multi‑tâches. UDE prend une autre voie : ancrer le modèle dans la théorie des systèmes dynamiques.

Là où VisionTS++ exploite la transfert cross‑modal image→temps (avec un ingénieux encodage multivarié « colorisé » et des têtes de reconstruction quantile pour le probabiliste), UDE part de la dynamique elle‑même : retards → sous‑espaces → linéarisation Koopman. VisionTS++ montre que l’astuce « image » est puissante ; UDE dit : faisons des images qui respectent la dynamique.

Comparé à TimeDiT (qui combine Transformers et diffusion pour injecter l’incertitude), UDE déplace la complexité côté représentation (patchs‑sous‑espaces) et côté évolution (Koopman linéaire), ce qui peut simplifier l’inférence.

Enfin, rappelons Delayformer, travail antérieur (même lignée) qui transformait déjà des variables en états retardés et utilisait un ViT partagé pour prédire l’état suivant. UDE généralise et formalise davantage cette intuition dans un cadre fondation et interprétable.

Résultats

Les auteurs rapportent une réduction moyenne de plus de 20 % de la MSE par rapport aux meilleurs foundation models, sur des benchmarks variés et des données climat réelles, et soulignent une excellente généralisation lors de fine‑tuning. Ils insistent aussi sur l’interprétabilité : les sous‑espaces appris restent topologiquement pertinents et les dynamiques invariantes au domaine.

Bien sûr, on attend avec impatience la version camera‑ready avec tous les détails empiriques (datasets exacts, tailles de patchs, ablations, coûts d’entraînement). Mais le signal est clair : l’approche retards + Koopman + Transformers fonctionne très bien sur des cas réalistes.

Mise en perspective : et pour nous, devs, data scientists… et créateurs de jeux ?

Des applications très terriennes

Climat/énergie : prévoir des variables atmosphériques, des charges réseau, des consommations, avec des structures dynamiques respectées (utile quand les lois physiques couvent sous le bruit).
Industrie/IoT : séries multicapteurs où les régimes changent. UDE peut isoler des sous‑espaces pertinents (diagnostic, maintenance, détection de dérives).
Finance/opérations : déceler des régimes latents et leurs transitions (avec une lecture « opérateur linéaire » peu coûteuse en inférence).

Pour la boîte à outils IA / data

Paradigme “image sans trahir le temps” : contrairement aux reformulations « image » plus naïves, les patchs Hankel préservent la topologie et les invariants dynamiques. On réconcilie vision et physique.
Inférence rapide : une fois le latent appris, faire avancer l’état via Koopman revient à multiplier par une matrice. Pratique pour du temps réel.
Interprétabilité des représentations : pointer quels patchs/sous‑espaces portent la dynamique (pensez heatmaps sur la nappe Hankel).

Et côté gamedev ?

Dans un jeu, vous simulez des systèmes : météo procédurale, écosystèmes, économie in‑game, comportement d’ennemis, physiques approximées. UDE peut servir de surrogate :

NPCs réactifs : apprendre des régimes de comportement (poursuite, fuite, exploration) comme des sous‑espaces identifiables et interpolables.
Simulation accélérée : avancer l’état du monde via une dynamique linéaire latente (Koopman), pour des tick rates stables.
Génération systémique : créer des variations plausibles de météo/économie en jouant avec les modes (valeurs propres) de l’opérateur appris.

Petite digression : pourquoi l’embedding par retards est une bonne idée

Mettons une analogie : vous écoutez un solo de guitare sans voir les mains du musicien. En alignant des extraits du son décalés (retards), vous reconstruisez l’espace des positions de sa main. C’est l’intuition de Takens : une observation univariée peut suffire à reconstruire l’attracteur du système. UDE l’exploite pour façonner des images qui respectent la géométrie de la dynamique — pas juste des pixels pratiques pour un CNN.

D’autres travaux ont surfé cette vague : VisionTS++ montre qu’un modèle vision bien entraîné peut très bien généraliser à des séries en les reformatant en images; TimeDiT injecte une probabilistique explicite via la diffusion; Delayformer exploitait déjà les retards et un ViT. Dans cet océan, UDE se distingue par son positionnement systèmes dynamiques d’abord.

Les questions que ce papier ouvrent

Multivarié / hétérogène : comment UDE gère‑t‑il plusieurs canaux aux échelles très différentes ? (Les patchs Hankel peuvent s’étendre variablement, mais quid d’un alignement robuste ?)
Manques / irrégularités : la vraie vie est pleine de trous et d’horodatages irréguliers. Quelle est la résilience de la factorisation Hankel + Koopman dans ces cas ?
Incertain / probabiliste : Koopman donne une évolution déterministe en latent ; comment quantifier l’incertitude (à la TimeDiT) sans perdre l’élégance linéaire ?
Coût d’entraînement : quels compromis taille des patchs / profondeur Transformer / dimension latente offrent le meilleur pareto perfs‑coût ?
Données et benchmarks : au‑delà du climat, sur quels domaines UDE généralise le mieux (physique, santé, réseaux) ?

Ces points ne sont pas des critiques, plutôt un carnet de route pour les prochaines expérimentations.

Conclusion

UDE, c’est un peu Koopman rencontre Transformer dans un atelier de patchwork. On découpe la série en patchs 2D (qui respectent la dynamique), on apprend comment ces morceaux se parlent, puis on avance le temps en latent comme si tout était linéaire. C’est élégant, rapide en inférence, et prometteur en généralisation — surtout si vous aimez vos modèles avec une touche d’interprétabilité.

La morale ? Si votre prochain projet de prévision commence à ressembler à un plat de spaghettis non linéaire, essayez d’abord de l’aplatir. Avec UDE, la sauce pourrait bien épaissir… sans grumeaux.

Références citées (pour aller plus loin)

UDE – papier original : arXiv:2509.12080 (2025).
Delayformer : « Delayformer: spatiotemporal transformation for predicting high-dimensional dynamics » (2025).
VisionTS++ : « Cross‑Modal Time Series Foundation Model with Continual Pre‑trained Visual Backbones » (2025).
TimeDiT : « Diffusion Transformers Foundation Model for Time Series Forecasting » (KDD’25).

Slug

ude-foundation-model-series-temporelles

metaDescription (≤160)

Universal Delay Embedding (UDE) : un foundation model pour séries temporelles, mêlant Hankel, Transformer et opérateur de Koopman pour des prévisions robustes.

keywords (5–8)

[ "universal delay embedding", "UDE", "foundation model", "séries temporelles", "opérateur de Koopman", "Transformer", "intelligence artificielle", "data science" ]

ogTitle (≈60–70)

UDE : le foundation model qui aplatit le temps pour mieux prédire

ogDescription (120–140)

UDE transforme les séries en patchs 2D et prédit via Koopman. Clair, visuel et utile aux devs, data scientists et créateurs de jeux.