EarthMind: Verso un'Osservazione Terrestre Multi-Granulare e Multi-Sensoriale con Modelli Multimodali di Grande Scala

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Autori: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Abstract

I Large Multimodal Models (LMM) hanno dimostrato prestazioni solide in vari compiti di visione e linguaggio. Tuttavia, spesso faticano a comprendere in modo completo i dati di Osservazione della Terra (EO), che sono cruciali per monitorare l'ambiente e gli effetti delle attività umane su di esso. In questo lavoro, presentiamo EarthMind, un nuovo framework visione-linguaggio per la comprensione di dati EO multi-granulari e multi-sensore. EarthMind include due componenti principali: (1) Spatial Attention Prompting (SAP), che ridistribuisce l'attenzione all'interno del LLM per migliorare la comprensione a livello di pixel; e (2) Cross-modal Fusion, che allinea modalità eterogenee in uno spazio condiviso e rivaluta in modo adattivo i token in base alla loro densità informativa per una fusione efficace. Per facilitare la valutazione della fusione multi-sensore, proponiamo EarthMind-Bench, un benchmark completo con oltre 2.000 coppie immagine-domanda multi-sensore annotate manualmente, che coprono un'ampia gamma di compiti di percezione e ragionamento. Esperimenti estensivi dimostrano l'efficacia di EarthMind. Raggiunge prestazioni all'avanguardia su EarthMind-Bench, superando GPT-4o nonostante abbia solo 4 miliardi di parametri. Inoltre, EarthMind supera i metodi esistenti su molteplici benchmark EO pubblici, dimostrando il suo potenziale nel gestire sia le sfide multi-granulari che multi-sensore in un framework unificato.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.