GeoPixel: Модель Pixel Grounding Large Multimodal в области дистанционного зондирования

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

Авторы: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

Аннотация

Недавние достижения в области крупных мультимодальных моделей (LMM) признали тонкую привязку как неотъемлемый фактор визуального понимания и диалога. Однако преимущества такого представления в LMM ограничены областью естественных изображений, и эти модели плохо справляются с дистанционным зондированием (RS). Отличительные видовые точки зрения, изменение масштаба и наличие мелких объектов на изображениях высокого разрешения RS представляют собой уникальное испытание в понимании уровня региона. Более того, развитие возможности ведения диалога с привязкой LMM в RS затруднено отсутствием детализированных, специфичных для RS, привязанных данных. Решая эти ограничения, мы предлагаем GeoPixel - первую полностью интегрированную высокоразрешающую RS-LMM, поддерживающую привязку на уровне пикселей. Эта возможность позволяет тонкое визуальное восприятие путем генерации чередующихся масок в разговоре. GeoPixel поддерживает разрешение до 4K HD в любом соотношении сторон, идеально подходит для анализа изображений высокой точности RS. Для поддержки генерации привязанного разговора (GCG) на изображениях RS мы составляем визуально привязанный набор данных GeoPixelD через полуавтоматизированный конвейер, который использует набор меток и пространственные априори, настроенные на данные RS, для методичного контроля процесса генерации данных. GeoPixel демонстрирует превосходную производительность в понимании на уровне пикселей, превосходя существующие LMM как в задачах сегментации одной цели, так и множественных целей. Наши методологические исследования абляции подтверждают эффективность каждого компонента в общей архитектуре. Наш код и данные будут общедоступно опубликованы.

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.