EarthMind: Hacia la Observación Terrestre Multigranular y Multisensorial con Modelos Multimodales de Gran Escala

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Autores: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Resumen

Los Modelos Multimodales de Gran Escala (LMMs, por sus siglas en inglés) han demostrado un rendimiento sólido en diversas tareas de visión y lenguaje. Sin embargo, a menudo tienen dificultades para comprender de manera integral los datos de Observación de la Tierra (EO, por sus siglas en inglés), los cuales son cruciales para monitorear el medio ambiente y los efectos de la actividad humana en él. En este trabajo, presentamos EarthMind, un marco novedoso de visión y lenguaje para la comprensión de datos EO multi-granulares y multi-sensores. EarthMind cuenta con dos componentes principales: (1) el Prompting de Atención Espacial (SAP, por sus siglas en inglés), que redistribuye la atención dentro del LLM para mejorar la comprensión a nivel de píxeles; y (2) la Fusión Cross-modal, que alinea modalidades heterogéneas en un espacio compartido y reajusta de manera adaptativa los tokens según su densidad de información para lograr una fusión efectiva. Para facilitar la evaluación de la fusión multi-sensor, proponemos EarthMind-Bench, un benchmark integral con más de 2,000 pares de imágenes-preguntas multi-sensor anotadas manualmente, que abarcan una amplia gama de tareas de percepción y razonamiento. Experimentos exhaustivos demuestran la efectividad de EarthMind. Este logra un rendimiento de vanguardia en EarthMind-Bench, superando a GPT-4o a pesar de tener solo 4B de escala. Además, EarthMind supera a los métodos existentes en múltiples benchmarks públicos de EO, mostrando su potencial para manejar tanto los desafíos multi-granulares como multi-sensores en un marco unificado.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.