GeoPixel: Modelo Multimodal Grande de Ancoragem de Pixels em Sensoriamento Remoto

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

Autores: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

Resumo

Os avanços recentes em modelos multimodais grandes (LMMs) reconheceram o enraizamento refinado como um fator imperativo para a compreensão visual e diálogo. No entanto, os benefícios de tal representação em LMMs são limitados ao domínio de imagens naturais, e esses modelos têm baixo desempenho para sensoriamento remoto (RS). A vista aérea distinta, a variação de escala e a presença de objetos pequenos em imagens de alta resolução de RS apresentam um desafio único na compreensão em nível de região. Além disso, o desenvolvimento da capacidade de conversação enraizada de LMMs dentro de RS é prejudicado pela falta de dados enraizados granulares específicos do domínio de RS. Para abordar essas limitações, propomos o GeoPixel - o primeiro RS-LMM de alta resolução de ponta a ponta que suporta o enraizamento em nível de pixel. Essa capacidade permite percepção visual refinada gerando máscaras entrelaçadas na conversa. O GeoPixel suporta até resolução HD 4K em qualquer proporção, ideal para análise de imagens de RS de alta precisão. Para apoiar a geração de conversas enraizadas (GCG) em imagens de RS, criamos um conjunto de dados visualmente enraizado, o GeoPixelD, por meio de um pipeline semi-automatizado que utiliza marcações de conjunto e prioridades espaciais adaptadas para dados de RS para controlar metodicamente o processo de geração de dados. O GeoPixel demonstra desempenho superior na compreensão em nível de pixel, superando os LMMs existentes em tarefas de segmentação de alvos únicos e múltiplos. Nossos estudos de ablação metodológica validam a eficácia de cada componente na arquitetura geral. Nosso código e dados serão publicamente divulgados.

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.