EO-WM: Ein physikalisch informiertes Weltmodell für probabilistische Erdbeobachtungsvorhersage

Zusammenfassung

Die Vorhersage mittels Erdbeobachtung (EO) zielt darauf ab, zukünftige Dynamiken der Erdoberfläche anhand von Satellitenbeobachtungen unter wechselnden meteorologischen Bedingungen vorherzusagen. In diesem Papier betrachten wir diese Aufgabe als ein teilweise beobachtetes, wettergetriebenes Weltmodellierungsproblem, bei dem das Wetter als konditionierendes Signal wirkt, während die Vorhersage aufgrund spärlicher Beobachtungen und unbeobachteter Landoberflächenzustände unsicher bleibt. Allerdings erfassen bestehende Methoden dieses Szenario nicht vollständig: Deterministische Modelle kollabieren die Unsicherheit in eine einzige zukünftige Vorhersage, während diffusionsbasierte Methoden Wettervariablen typischerweise als undifferenzierte konditionierende Signale behandeln. Zudem konzentrieren sich bestehende Benchmarks hauptsächlich auf die Rekonstruktionsgenauigkeit und nicht darauf, ob Vorhersagen korrekt auf veränderte Wettereinflüsse reagieren. Wir stellen EO-WM vor, einen Video-Diffusionstransformer für multispektrale EO-Vorhersagen. EO-WM beinhaltet ein physikalisch informiertes Konditionierungsframework, das meteorologische Einflüsse durch eine klimatologische Basislinie, Wetteranomalien und kumulative physikalische Stresssignale repräsentiert. Insbesondere trennt es Basislinie und Anomalie durch unterschiedliche Konditionierungspfade und akkumuliert anomale Einflüsse über die Zeit, um anhaltenden Hitze- und Trockenstress zu erfassen. Um das Wetterantwortverhalten über Standardmetriken hinaus zu bewerten, führen wir zwei diagnostische Benchmarks ein: einen Extrem-Sommer-Benchmark für schwerebewusste Vorhersage von Vegetationsdegradation unter Extremwetter und einen saisonalen Matched-Pair-Benchmark zur Prüfung der Antworttreue unter veränderten Wettereinflüssen. Experimente zeigen, dass EO-WM den Fehler in der vorhergesagten Amplitude des Rückgangs des Normalisierten Differentiellen Vegetationsindex (NDVI) um relativ 5,63 % reduziert und die Richtungstrefferquote um relativ 7,80 % verbessert, während es bei standardmäßigen Pixelebenen-Metriken wettbewerbsfähig bleibt. Die Benchmarks und das Modell werden unter https://github.com/Luo-Z13/EO-WM als Open Source verfügbar gemacht.

English

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.