EO-WM : Un modèle du monde informé par la physique pour la prévision probabiliste de l'observation de la Terre

Résumé

La prévision par Observation de la Terre (EO) vise à prédire les dynamiques futures de la surface terrestre à partir d'observations satellitaires dans des conditions météorologiques changeantes. Dans cet article, nous considérons cette tâche comme un problème de modélisation du monde partiellement observé et piloté par la météo, où la météo agit comme un signal de conditionnement, tandis que la prévision reste incertaine en raison d'observations éparses et d'états de surface non observés. Cependant, les méthodes existantes ne capturent pas pleinement ce cadre : les modèles déterministes réduisent l'incertitude en une seule prédiction future, tandis que les méthodes basées sur la diffusion traitent généralement les variables météorologiques comme des signaux de conditionnement indifférenciés, et les benchmarks existants se concentrent principalement sur la précision de reconstruction plutôt que sur la réponse correcte des prévisions à un forçage météorologique modifié. Nous présentons EO-WM, un transformer de diffusion vidéo pour la prévision EO multispectrale. EO-WM intègre un cadre de conditionnement physiquement informé qui représente le forçage météorologique via une référence climatologique, des anomalies météorologiques et des signaux de stress physique cumulés. Plus précisément, il sépare la référence et l'anomalie via des voies de conditionnement distinctes, et accumule le forçage anormal au fil du temps pour capturer le stress thermique et hydrique soutenu. Pour évaluer le comportement de réponse météorologique au-delà des métriques standard, nous introduisons deux benchmarks diagnostiques : un Benchmark d'Été Extrême pour la prédiction sensible à la sévérité de la dégradation de la végétation sous conditions météorologiques extrêmes, et un Benchmark de Paires Appariées Saisonnières pour tester la fidélité de réponse sous forçage météorologique modifié. Les expériences montrent qu'EO-WM réduit l'erreur dans l'amplitude de déclin prédite de l'Indice de Végétation par Différence Normalisée (NDVI) de 5,63 % en relatif et améliore le taux de succès directionnel de 7,80 % en relatif, tout en restant compétitif sur les métriques standard au niveau des pixels. Les benchmarks et le modèle seront rendus open-source à l'adresse https://github.com/Luo-Z13/EO-WM.

English

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.