GeoPixel: Modello Multimodale di Grandi Dimensioni per l'Anchoring dei Pixel nel Telerilevamento

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

Autori: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

Abstract

I recenti progressi nei grandi modelli multimodali (LMM) hanno riconosciuto il grounding dettagliato come un fattore imprescindibile per la comprensione visiva e il dialogo. Tuttavia, i benefici di tale rappresentazione nei LMM sono limitati al dominio delle immagini naturali, e questi modelli si comportano male per il rilevamento remoto (RS). La prospettiva aerea distinta, la variazione di scala e la presenza di oggetti di piccole dimensioni nelle immagini ad alta risoluzione di RS presentano una sfida unica nella comprensione a livello di regione. Inoltre, lo sviluppo della capacità di conversazione basata sul grounding dei LMM all'interno del RS è ostacolato dalla mancanza di dati granulari specifici del dominio RS. Affrontando queste limitazioni, proponiamo GeoPixel - il primo RS-LMM ad alta risoluzione end-to-end che supporta il grounding a livello di pixel. Questa capacità consente una percezione visiva dettagliata generando maschere intercalate nella conversazione. GeoPixel supporta risoluzioni fino a 4K HD in qualsiasi rapporto d'aspetto, ideale per l'analisi di immagini di RS ad alta precisione. Per supportare la generazione di conversazioni basate sul grounding (GCG) nelle immagini di RS, curiamo un dataset visualmente basato, GeoPixelD, attraverso un flusso di lavoro semi-automatico che utilizza prompt di insiemi di segni e priorità spaziali adattati ai dati di RS per controllare metodicamente il processo di generazione dei dati. GeoPixel dimostra prestazioni superiori nella comprensione a livello di pixel, superando i LMM esistenti sia nei compiti di segmentazione a singolo bersaglio che multi-bersaglio. I nostri studi metodologici di ablation convalidano l'efficacia di ciascun componente nell'architettura complessiva. Il nostro codice e i dati saranno resi pubblici.

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.