ARGenSeg：自己回帰型画像生成モデルによる画像セグメンテーション

要旨

本論文では、画像セグメンテーションのための新しいAutoRegressive Generationベースのパラダイム（ARGenSeg）を提案し、マルチモーダル理解とピクセルレベルの知覚を統一フレームワーク内で実現する。従来のマルチモーダル大規模言語モデル（MLLM）に画像セグメンテーションを統合する研究では、境界点表現または専用のセグメンテーションヘッドが一般的に用いられてきた。これらの手法は、タスク特化型デコーダに入力される離散表現または意味的プロンプトに依存しており、MLLMが細粒度の視覚的詳細を捕捉する能力を制限している。こうした課題に対処するため、我々は画像生成に基づくMLLM向けセグメンテーション枠組みを導入し、対象物体の高密度マスクを自然に生成する。MLLMにより出力された視覚トークンを、普遍的なVQ-VAEを用いて画像へとデトークン化することで、セグメンテーションをMLLMのピクセルレベル理解に完全に依存させる。推論遅延を低減するため、必要な視覚トークンを並列生成する次スケール予測戦略を採用する。大規模な実験により、本手法が強力な理解能力を維持しつつ、複数のセグメンテーションデータセットにおいて従来の最先端手法を凌駕し、推論速度が顕著に向上することを実証する。

English

We propose a novel AutoRegressive Generation-based paradigm for image Segmentation (ARGenSeg), achieving multimodal understanding and pixel-level perception within a unified framework. Prior works integrating image segmentation into multimodal large language models (MLLMs) typically employ either boundary points representation or dedicated segmentation heads. These methods rely on discrete representations or semantic prompts fed into task-specific decoders, which limits the ability of the MLLM to capture fine-grained visual details. To address these challenges, we introduce a segmentation framework for MLLM based on image generation, which naturally produces dense masks for target objects. We leverage MLLM to output visual tokens and detokenize them into images using an universal VQ-VAE, making the segmentation fully dependent on the pixel-level understanding of the MLLM. To reduce inference latency, we employ a next-scale-prediction strategy to generate required visual tokens in parallel. Extensive experiments demonstrate that our method surpasses prior state-of-the-art approaches on multiple segmentation datasets with a remarkable boost in inference speed, while maintaining strong understanding capabilities.

ARGenSeg：自己回帰型画像生成モデルによる画像セグメンテーション

ARGenSeg: Image Segmentation with Autoregressive Image Generation Model

要旨

Support