EO-WM: 物理情報を取り入れた地球観測の確率的予測のための世界モデル

要旨

地球観測（EO）予測は、変化する気象条件下での衛星観測に基づき、将来の地球表面動態を予測することを目的とする。本論文では、このタスクを部分的に観測された気象駆動型の世界モデリング問題として捉える。ここでは、気象が条件付け信号として機能する一方で、観測の疎らさや未観測の陸面状態により予測は不確実性を伴う。しかし、既存の手法ではこの設定を十分に捉えられていない。すなわち、決定論的モデルは不確実性を単一の将来予測に潰してしまい、拡散モデルに基づく手法は気象変数を無差別な条件付け信号として扱う傾向があり、既存のベンチマークは主に再構成精度に焦点を当てており、予測が変化した気象強制に対して正しく応答するかどうかは重視していない。本稿では、多スペクトルEO予測のための動画拡散トランスフォーマーであるEO-WMを提案する。EO-WMは、気候学的ベースライン、気象異常、および累積的な物理的ストレス信号を通じて気象強制を表現する、物理的に情報を考慮した条件付けフレームワークを統合する。具体的には、異なる条件付け経路を通じてベースラインと異常を分離し、異常な強制を時間的に蓄積することで、持続的な暑熱および干ばつストレスを捉える。標準的な指標を超えて気象応答行動を評価するために、本稿では2つの診断用ベンチマークを導入する。すなわち、極端な気象下での植生劣化の深刻度を考慮した予測のためのExtreme Summer Benchmark、および変化した気象強制下での応答の忠実性をテストするためのSeasonal Matched-Pair Benchmarkである。実験の結果、EO-WMは予測された正規化植生指数（NDVI）の低下振幅の誤差を5.63%相対的に削減し、方向別ヒット率を7.80%相対的に改善するとともに、標準的な画素レベルの指標でも競争力を維持していることが示された。これらのベンチマークとモデルはオープンソースとしてhttps://github.com/Luo-Z13/EO-WM で公開される予定である。

English

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.