EarthMind：大規模マルチモーダルモデルを用いた多粒度・多センサー地球観測の実現に向けて

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

著者: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

要旨

大規模マルチモーダルモデル（LMMs）は、さまざまな視覚-言語タスクにおいて優れた性能を発揮している。しかし、環境や人間活動の影響を監視するために重要な地球観測（EO）データを包括的に理解するには、しばしば困難を伴う。本研究では、多粒度かつ多センサーのEOデータ理解のための新しい視覚-言語フレームワークであるEarthMindを提案する。EarthMindは、2つのコアコンポーネントを特徴とする：（1）空間的注意プロンプティング（SAP）は、LLM内の注意を再配分し、ピクセルレベルの理解を強化する；（2）クロスモーダル融合は、異種モダリティを共有空間に整列させ、情報密度に基づいてトークンを適応的に再重み付けし、効果的な融合を実現する。多センサー融合評価を促進するために、2,000以上の人間による注釈付き多センサー画像-質問ペアを含む包括的なベンチマークであるEarthMind-Benchを提案する。これは、幅広い知覚および推論タスクをカバーしている。広範な実験により、EarthMindの有効性が実証された。EarthMindは、EarthMind-Benchにおいて、4BスケールでありながらGPT-4oを上回る最先端の性能を達成した。さらに、EarthMindは複数の公開EOベンチマークにおいて既存の手法を凌駕し、多粒度および多センサーの課題を統一フレームワークで処理する可能性を示している。

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.