EarthMind: Rumo à Observação da Terra Multi-Granular e Multi-Sensor com Modelos Multimodais de Grande Escala

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Autores: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Resumo

Modelos Multimodais de Grande Escala (LMMs) têm demonstrado um desempenho robusto em diversas tarefas de visão e linguagem. No entanto, eles frequentemente enfrentam dificuldades para compreender de forma abrangente dados de Observação da Terra (EO), que são essenciais para monitorar o meio ambiente e os impactos da atividade humana sobre ele. Neste trabalho, apresentamos o EarthMind, uma nova estrutura de visão e linguagem para a compreensão de dados EO multi-granulares e multi-sensores. O EarthMind possui dois componentes principais: (1) o Spatial Attention Prompting (SAP), que redistribui a atenção dentro do LLM para aprimorar a compreensão em nível de pixel; e (2) a Fusão Cross-modal, que alinha modalidades heterogêneas em um espaço compartilhado e reajusta de forma adaptativa os tokens com base em sua densidade de informação para uma fusão eficaz. Para facilitar a avaliação da fusão multi-sensor, propomos o EarthMind-Bench, um benchmark abrangente com mais de 2.000 pares de imagem-pergunta multi-sensores anotados manualmente, cobrindo uma ampla gama de tarefas de percepção e raciocínio. Experimentos extensivos demonstram a eficácia do EarthMind. Ele alcança desempenho de ponta no EarthMind-Bench, superando o GPT-4o apesar de ter apenas 4B de escala. Além disso, o EarthMind supera métodos existentes em múltiplos benchmarks públicos de EO, destacando seu potencial para lidar com desafios multi-granulares e multi-sensores em uma estrutura unificada.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.