EarthMind : Vers une observation de la Terre multi-granulaire et multi-capteurs avec des modèles multimodaux de grande échelle

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Auteurs: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Résumé

Les modèles multimodaux de grande taille (LMMs) ont démontré des performances solides dans diverses tâches vision-langage. Cependant, ils éprouvent souvent des difficultés à comprendre de manière exhaustive les données d'observation de la Terre (EO), qui sont essentielles pour surveiller l'environnement et les effets des activités humaines sur celui-ci. Dans ce travail, nous présentons EarthMind, un nouveau cadre vision-langage pour la compréhension des données EO multi-granulaires et multi-capteurs. EarthMind se compose de deux éléments clés : (1) le Spatial Attention Prompting (SAP), qui réalloue l'attention au sein du LLM pour améliorer la compréhension au niveau des pixels ; et (2) la Fusion Cross-modale, qui aligne les modalités hétérogènes dans un espace partagé et réajuste de manière adaptative les tokens en fonction de leur densité d'information pour une fusion efficace. Pour faciliter l'évaluation de la fusion multi-capteurs, nous proposons EarthMind-Bench, un benchmark complet comprenant plus de 2 000 paires image-question multi-capteurs annotées manuellement, couvrant un large éventail de tâches de perception et de raisonnement. Des expériences approfondies démontrent l'efficacité d'EarthMind. Il atteint des performances de pointe sur EarthMind-Bench, surpassant GPT-4o malgré une échelle de seulement 4B. De plus, EarthMind surpasse les méthodes existantes sur plusieurs benchmarks EO publics, montrant son potentiel à gérer à la fois les défis multi-granulaires et multi-capteurs dans un cadre unifié.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.