GeoPixel: Modelo Multimodal Grande de Anclaje de Píxeles en Teledetección

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

Autores: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

Resumen

Los avances recientes en modelos grandes multimodales (LMMs) han reconocido el enraizamiento detallado como un factor imperativo de comprensión visual y diálogo. Sin embargo, los beneficios de tal representación en LMMs están limitados al dominio de imágenes naturales, y estos modelos tienen un rendimiento deficiente para la percepción remota (RS). La vista aérea distintiva, la variación de escala y la presencia de objetos pequeños en imágenes de alta resolución de RS presentan un desafío único en la comprensión a nivel de región. Además, el desarrollo de la capacidad de conversación enraizada de LMMs dentro de RS se ve obstaculizado por la falta de datos enraizados granulares específicos del dominio de RS. Para abordar estas limitaciones, proponemos GeoPixel, el primer RS-LMM de alta resolución de extremo a extremo que admite enraizamiento a nivel de píxel. Esta capacidad permite una percepción visual detallada generando máscaras entrelazadas en la conversación. GeoPixel admite una resolución de hasta 4K HD en cualquier relación de aspecto, ideal para análisis de imágenes de RS de alta precisión. Para respaldar la generación de conversaciones enraizadas (GCG) en imágenes de RS, creamos un conjunto de datos visualmente enraizado, GeoPixelD, a través de un proceso de generación de datos semiautomatizado que utiliza indicaciones de conjuntos de marcas y prioridades espaciales adaptadas para datos de RS para controlar metódicamente el proceso de generación de datos. GeoPixel demuestra un rendimiento superior en la comprensión a nivel de píxel, superando a los LMMs existentes tanto en tareas de segmentación de un solo objetivo como de múltiples objetivos. Nuestros estudios de ablación metodológica validan la efectividad de cada componente en la arquitectura general. Nuestro código y datos se publicarán públicamente.

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.