EO-WM: Een fysisch geïnformeerd wereldmodel voor probabilistische voorspelling van aardobservatie

Samenvatting

Aardobservatie (EO) voorspellingen beogen toekomstige dynamiek van het aardoppervlak te voorspellen op basis van satellietwaarnemingen onder veranderende meteorologische omstandigheden. In dit artikel beschouwen we deze taak als een gedeeltelijk geobserveerd, weergedreven wereldmodelleringsprobleem, waarbij het weer fungeert als een conditioneringssignaal, terwijl de voorspelling onzeker blijft door schaarse waarnemingen en niet-geobserveerde toestanden van het landoppervlak. Bestaande methoden vatten deze setting echter niet volledig: deterministische modellen storten onzekerheid in tot een enkele toekomstvoorspelling, terwijl diffusiegebaseerde methoden weervariabelen doorgaans behandelen als ongedifferentieerde conditioneringssignalen, en bestaande benchmarks richten zich voornamelijk op reconstructienauwkeurigheid in plaats van of voorspellingen correct reageren op veranderde weerforcering. We introduceren EO-WM, een videodiffusietransformer voor multispectrale EO-voorspellingen. EO-WM bevat een fysisch geïnformeerd conditioneringskader dat meteorologische forcering weergeeft via een klimatologische basislijn, weerafwijkingen en cumulatieve fysische stresssignalen. Specifiek scheidt het de basislijn en afwijking via afzonderlijke conditioneringspaden, en accumuleert het afwijkende forcering in de tijd om aanhoudende hitte- en droogtestress vast te leggen. Om het weerresponsgedrag te evalueren voorbij standaardmetrieken, introduceren we twee diagnostische benchmarks: een Extreme Zomer Benchmark voor ernstbewuste voorspelling van vegetatiedegradatie onder extreem weer, en een Seizoensgebonden Gepaarde-Paar Benchmark voor het testen van responsgetrouwheid onder veranderde weerforcering. Experimenten tonen aan dat EO-WM de fout in de voorspelde amplitude van de afname van de genormaliseerde vegetatie-index (NDVI) met een relatieve 5,63% vermindert en de directionele trefferratio met een relatieve 7,80% verbetert, terwijl het concurrerend blijft op standaard pixelniveau-metrieken. De benchmarks en het model zullen open-source beschikbaar worden gesteld op https://github.com/Luo-Z13/EO-WM.

English

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.