ARGenSeg : Segmentation d'image avec un modèle de génération d'image autorégressif

ARGenSeg: Image Segmentation with Autoregressive Image Generation Model

October 23, 2025

papers.authors: Xiaolong Wang, Lixiang Ru, Ziyuan Huang, Kaixiang Ji, Dandan Zheng, Jingdong Chen, Jun Zhou

cs.AI

papers.abstract

Nous proposons un nouveau paradigme de segmentation d'images basé sur la génération autorégressive (ARGenSeg), permettant une compréhension multimodale et une perception au niveau pixel dans un cadre unifié. Les travaux antérieurs intégrant la segmentation d'images dans les modèles de langage multimodaux de grande taille (MLLM) emploient généralement soit une représentation par points de contour, soit des têtes de segmentation dédiées. Ces méthodes reposent sur des représentations discrètes ou des invites sémantiques fournies à des décodeurs spécialisés, ce qui limite la capacité du MLLM à capturer des détails visuels fins. Pour relever ces défis, nous introduisons un cadre de segmentation pour MLLM basé sur la génération d'images, qui produit naturellement des masques denses pour les objets cibles. Nous exploitons le MLLM pour produire des tokens visuels, puis les détokeniser en images à l'aide d'un VQ-VAE universel, rendant la segmentation entièrement dépendante de la compréhension au niveau pixel du MLLM. Pour réduire la latence d'inférence, nous utilisons une stratégie de prédiction à l'échelle suivante pour générer les tokens visuels requis en parallèle. Des expériences approfondies démontrent que notre méthode surpasse les approches état de l'art précédentes sur plusieurs jeux de données de segmentation, avec une augmentation remarquable de la vitesse d'inférence, tout en maintenant de solides capacités de compréhension.

English

We propose a novel AutoRegressive Generation-based paradigm for image Segmentation (ARGenSeg), achieving multimodal understanding and pixel-level perception within a unified framework. Prior works integrating image segmentation into multimodal large language models (MLLMs) typically employ either boundary points representation or dedicated segmentation heads. These methods rely on discrete representations or semantic prompts fed into task-specific decoders, which limits the ability of the MLLM to capture fine-grained visual details. To address these challenges, we introduce a segmentation framework for MLLM based on image generation, which naturally produces dense masks for target objects. We leverage MLLM to output visual tokens and detokenize them into images using an universal VQ-VAE, making the segmentation fully dependent on the pixel-level understanding of the MLLM. To reduce inference latency, we employ a next-scale-prediction strategy to generate required visual tokens in parallel. Extensive experiments demonstrate that our method surpasses prior state-of-the-art approaches on multiple segmentation datasets with a remarkable boost in inference speed, while maintaining strong understanding capabilities.