ARGenSeg: Segmentazione di Immagini con Modello di Generazione di Immagini Autoregressivo

ARGenSeg: Image Segmentation with Autoregressive Image Generation Model

October 23, 2025

Autori: Xiaolong Wang, Lixiang Ru, Ziyuan Huang, Kaixiang Ji, Dandan Zheng, Jingdong Chen, Jun Zhou

cs.AI

Abstract

Proponiamo un nuovo paradigma di segmentazione delle immagini basato sulla generazione autoregressiva (ARGenSeg), che realizza la comprensione multimodale e la percezione a livello di pixel all'interno di un framework unificato. I lavori precedenti che integrano la segmentazione delle immagini nei modelli linguistici multimodali di grandi dimensioni (MLLM) impiegano tipicamente rappresentazioni tramite punti di contorno o teste di segmentazione dedicate. Questi metodi si basano su rappresentazioni discrete o prompt semantici forniti a decoder specifici per il compito, il che limita la capacità dell'MLLM di catturare dettagli visivi di livello fine. Per affrontare queste sfide, introduciamo un framework di segmentazione per MLLM basato sulla generazione di immagini, che produce naturalmente maschere dense per gli oggetti target. Sfruttiamo l'MLLM per generare token visivi e li detokenizziamo in immagini utilizzando un VQ-VAE universale, rendendo la segmentazione completamente dipendente dalla comprensione a livello di pixel dell'MLLM. Per ridurre la latenza di inferenza, impieghiamo una strategia di predizione della scala successiva per generare in parallelo i token visivi richiesti. Esperimenti estensivi dimostrano che il nostro metodo supera gli approcci allo stato dell'arte precedenti su molteplici dataset di segmentazione con un notevole incremento della velocità di inferenza, mantenendo al contempo solide capacità di comprensione.

English

We propose a novel AutoRegressive Generation-based paradigm for image Segmentation (ARGenSeg), achieving multimodal understanding and pixel-level perception within a unified framework. Prior works integrating image segmentation into multimodal large language models (MLLMs) typically employ either boundary points representation or dedicated segmentation heads. These methods rely on discrete representations or semantic prompts fed into task-specific decoders, which limits the ability of the MLLM to capture fine-grained visual details. To address these challenges, we introduce a segmentation framework for MLLM based on image generation, which naturally produces dense masks for target objects. We leverage MLLM to output visual tokens and detokenize them into images using an universal VQ-VAE, making the segmentation fully dependent on the pixel-level understanding of the MLLM. To reduce inference latency, we employ a next-scale-prediction strategy to generate required visual tokens in parallel. Extensive experiments demonstrate that our method surpasses prior state-of-the-art approaches on multiple segmentation datasets with a remarkable boost in inference speed, while maintaining strong understanding capabilities.