EarthMind: Naar Multi-Granulaire en Multi-Sensor Aardobservatie met Grote Multimodale Modellen

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Auteurs: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Samenvatting

Grote Multimodale Modellen (LMMs) hebben sterke prestaties getoond in diverse visie-taaltaken. Ze hebben echter vaak moeite om Aardobservatie (EO)-data grondig te begrijpen, wat cruciaal is voor het monitoren van het milieu en de effecten van menselijke activiteit daarop. In dit werk presenteren we EarthMind, een nieuw visie-taalraamwerk voor het begrijpen van multi-granulaire en multi-sensor EO-data. EarthMind beschikt over twee kerncomponenten: (1) Spatial Attention Prompting (SAP), dat de aandacht binnen het LLM herverdeelt om het begrip op pixelniveau te verbeteren; en (2) Cross-modale Fusie, die heterogene modaliteiten uitlijnt in een gedeelde ruimte en tokens adaptief herweegt op basis van hun informatiedichtheid voor effectieve fusie. Om de evaluatie van multi-sensorfusie te vergemakkelijken, stellen we EarthMind-Bench voor, een uitgebreide benchmark met meer dan 2000 door mensen geannoteerde multi-sensor beeld-vraagparen, die een breed scala aan perceptie- en redeneertaken bestrijken. Uitgebreide experimenten tonen de effectiviteit van EarthMind aan. Het behaalt state-of-the-art prestaties op EarthMind-Bench en overtreft GPT-4o ondanks dat het slechts 4B in schaal is. Bovendien presteert EarthMind beter dan bestaande methoden op meerdere openbare EO-benchmarks, wat het potentieel aantoont om zowel multi-granulaire als multi-sensoruitdagingen in een uniform raamwerk aan te pakken.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.