GeoPixel: リモートセンシングにおける大規模なマルチモーダルモデルにおけるピクセルグラウンディング

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

著者: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

要旨

最近の大規模多モーダルモデル（LMMs）の進歩により、微細なグラウンディングが視覚理解と対話における重要な要素として認識されています。ただし、このような表現の利点は自然画像領域に限定されており、これらのモデルはリモートセンシング（RS）に対して性能が低いです。高解像度のRS画像における独自の課題として、独特の上空視点、スケールの変動、および小さなオブジェクトの存在が領域レベルの理解において特別な挑戦を提供しています。さらに、RS内でのLMMsのグラウンディング対話能力の開発は、粒状でRS特有のグラウンディングされたデータの不足によって妨げられています。これらの制限に対処するために、私たちはGeoPixelを提案します - 高解像度RS-LMMであり、ピクセルレベルのグラウンディングをサポートする最初のエンドツーエンドモデルです。この機能により、対話中に交互にマスクを生成することで微細な視覚認識が可能となります。GeoPixelは、高精度なRS画像解析に適した、どんなアスペクト比でも4K HD解像度をサポートしています。RS画像におけるグラウンディング対話生成（GCG）をサポートするために、私たちは、RSデータに適したセットオブマークプロンプトと空間事前情報を利用した半自動パイプラインを通じて、視覚的にグラウンディングされたデータセットGeoPixelDを編纂しています。GeoPixelは、ピクセルレベルの理解において優れた性能を発揮し、既存のLMMsを超える単一ターゲットおよび複数ターゲットのセグメンテーションタスクで優れた結果を示しています。私たちの手法論的な削減研究は、全体的なアーキテクチャ内の各コンポーネントの効果を検証しています。私たちのコードとデータは公開されます。

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.