EarthMind: В направлении многомасштабного и мультисенсорного наблюдения Земли с использованием крупных мультимодальных моделей

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Авторы: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Аннотация

Крупные мультимодальные модели (LMMs) продемонстрировали высокую производительность в различных задачах, связанных с обработкой визуальных и текстовых данных. Однако они часто испытывают трудности с всесторонним пониманием данных дистанционного зондирования Земли (EO), что критически важно для мониторинга окружающей среды и воздействия человеческой деятельности на нее. В данной работе мы представляем EarthMind — новую визуально-языковую платформу для многоуровневого и мультисенсорного анализа данных EO. EarthMind включает два ключевых компонента: (1) Пространственное внимание с подсказками (SAP), которое перераспределяет внимание внутри LMM для улучшения понимания на уровне пикселей; и (2) Кросс-модальное слияние, которое выравнивает разнородные модальности в общем пространстве и адаптивно перевзвешивает токены на основе их информационной плотности для эффективного объединения. Для оценки мультисенсорного слияния мы предлагаем EarthMind-Bench — комплексный бенчмарк, содержащий более 2000 аннотированных человеком пар "изображение-вопрос" с использованием данных от различных сенсоров, охватывающих широкий спектр задач восприятия и логического анализа. Многочисленные эксперименты подтверждают эффективность EarthMind. Модель достигает наилучших результатов на EarthMind-Bench, превосходя GPT-4o, несмотря на свой относительно небольшой размер (4B). Кроме того, EarthMind превосходит существующие методы на нескольких публичных бенчмарках EO, демонстрируя свой потенциал для решения как многоуровневых, так и мультисенсорных задач в рамках единой платформы.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.