EarthMind: 대규모 멀티모달 모델을 활용한 다중 세분화 및 다중 센서 지구 관측

초록

대규모 멀티모달 모델(Large Multimodal Models, LMMs)은 다양한 시각-언어 작업에서 강력한 성능을 보여왔습니다. 그러나 환경 모니터링 및 인간 활동의 영향을 이해하는 데 중요한 지구 관측(Earth Observation, EO) 데이터를 포괄적으로 이해하는 데는 종종 어려움을 겪습니다. 본 연구에서는 다중 세분성 및 다중 센서 EO 데이터 이해를 위한 새로운 시각-언어 프레임워크인 EarthMind를 제안합니다. EarthMind는 두 가지 핵심 구성 요소를 특징으로 합니다: (1) 픽셀 수준의 이해를 강화하기 위해 LLM 내의 주의를 재배치하는 공간 주의 프롬프팅(Spatial Attention Prompting, SAP), 그리고 (2) 이질적인 모달리티를 공유 공간에 정렬하고 정보 밀도에 따라 토큰을 적응적으로 재가중하는 교차 모달 융합(Cross-modal Fusion)입니다. 다중 센서 융합 평가를 용이하게 하기 위해, 2,000개 이상의 인간 주석이 달린 다중 센서 이미지-질문 쌍을 포함한 포괄적인 벤치마크인 EarthMind-Bench를 제안합니다. 이 벤치마크는 다양한 인지 및 추론 작업을 다룹니다. 광범위한 실험을 통해 EarthMind의 효과성을 입증하였습니다. EarthMind는 EarthMind-Bench에서 최첨단 성능을 달성하며, 규모가 4B임에도 불구하고 GPT-4o를 능가합니다. 또한, EarthMind는 여러 공개 EO 벤치마크에서 기존 방법들을 능가하며, 다중 세분성 및 다중 센서 문제를 통합 프레임워크 내에서 처리할 수 있는 잠재력을 보여줍니다.

English

Large Multimodal Models (LMMs) have demonstrated strong performance in various vision-language tasks. However, they often struggle to comprehensively understand Earth Observation (EO) data, which is critical for monitoring the environment and the effects of human activity on it. In this work, we present EarthMind, a novel vision-language framework for multi-granular and multi-sensor EO data understanding. EarthMind features two core components: (1) Spatial Attention Prompting (SAP), which reallocates attention within the LLM to enhance pixel-level understanding; and (2) Cross-modal Fusion, which aligns heterogeneous modalities into a shared space and adaptively reweighs tokens based on their information density for effective fusion. To facilitate multi-sensor fusion evaluation, we propose EarthMind-Bench, a comprehensive benchmark with over 2,000 human-annotated multi-sensor image-question pairs, covering a wide range of perception and reasoning tasks. Extensive experiments demonstrate the effectiveness of EarthMind. It achieves state-of-the-art performance on EarthMind-Bench, surpassing GPT-4o despite being only 4B in scale. Moreover, EarthMind outperforms existing methods on multiple public EO benchmarks, showcasing its potential to handle both multi-granular and multi-sensor challenges in a unified framework.

EarthMind: 대규모 멀티모달 모델을 활용한 다중 세분화 및 다중 센서 지구 관측

EarthMind: Towards Multi-Granular and Multi-Sensor Earth Observation with Large Multimodal Models

초록

Support