EarthMind: Auf dem Weg zu multi-granularer und multi-sensorischer Erdbeobachtung mit großen multimodalen Modellen

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

June 2, 2025

Autoren: Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begum Demir, Nicu Sebe, Paolo Rota

cs.AI

Zusammenfassung

Große multimodale Modelle (LMMs) haben in verschiedenen Vision-Sprache-Aufgaben eine starke Leistung gezeigt. Allerdings haben sie oft Schwierigkeiten, Erdbeobachtungsdaten (EO-Daten) umfassend zu verstehen, was für die Überwachung der Umwelt und der Auswirkungen menschlicher Aktivitäten darauf entscheidend ist. In dieser Arbeit präsentieren wir EarthMind, ein neuartiges Vision-Sprache-Framework für das Verständnis von multi-granularen und multi-sensorischen EO-Daten. EarthMind verfügt über zwei Kernkomponenten: (1) Spatial Attention Prompting (SAP), das die Aufmerksamkeit innerhalb des LLM neu verteilt, um das pixelgenaue Verständnis zu verbessern; und (2) Cross-modal Fusion, das heterogene Modalitäten in einen gemeinsamen Raum ausrichtet und Token basierend auf ihrer Informationsdichte adaptiv neu gewichtet, um eine effektive Fusion zu ermöglichen. Um die Bewertung der Multi-Sensor-Fusion zu erleichtern, schlagen wir EarthMind-Bench vor, einen umfassenden Benchmark mit über 2.000 menschlich annotierten Multi-Sensor-Bild-Frage-Paaren, die eine breite Palette von Wahrnehmungs- und Schlussfolgerungsaufgaben abdecken. Umfangreiche Experimente demonstrieren die Wirksamkeit von EarthMind. Es erreicht state-of-the-art Leistung auf EarthMind-Bench und übertrifft GPT-4o, obwohl es nur 4B groß ist. Darüber hinaus übertrifft EarthMind bestehende Methoden auf mehreren öffentlichen EO-Benchmarks und zeigt sein Potenzial, sowohl multi-granulare als auch multi-sensorische Herausforderungen in einem einheitlichen Framework zu bewältigen.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.