ARGenSeg: Segmentação de Imagens com Modelo de Geração Autoregressiva de Imagens

ARGenSeg: Image Segmentation with Autoregressive Image Generation Model

October 23, 2025

Autores: Xiaolong Wang, Lixiang Ru, Ziyuan Huang, Kaixiang Ji, Dandan Zheng, Jingdong Chen, Jun Zhou

cs.AI

Resumo

Propomos um novo paradigma baseado em Geração AutoRegressiva para Segmentação de Imagens (ARGenSeg), alcançando compreensão multimodal e percepção a nível de pixel dentro de uma estrutura unificada. Trabalhos anteriores que integram segmentação de imagens em modelos de linguagem multimodal (MLLMs) geralmente empregam representação por pontos de contorno ou cabeças de segmentação dedicadas. Esses métodos dependem de representações discretas ou *prompts* semânticos alimentados em decodificadores específicos para tarefas, o que limita a capacidade do MLLM de capturar detalhes visuais refinados. Para enfrentar esses desafios, introduzimos uma estrutura de segmentação para MLLM baseada na geração de imagens, que produz naturalmente máscaras densas para objetos-alvo. Aproveitamos o MLLM para gerar *tokens* visuais e os detokenizamos em imagens usando um VQ-VAE universal, tornando a segmentação totalmente dependente da compreensão a nível de pixel do MLLM. Para reduzir a latência de inferência, empregamos uma estratégia de predição de próxima escala para gerar os *tokens* visuais necessários em paralelo. Experimentos extensivos demonstram que nosso método supera as melhores abordagens anteriores em múltiplos conjuntos de dados de segmentação com um notável aumento na velocidade de inferência, mantendo fortes capacidades de compreensão.

English

We propose a novel AutoRegressive Generation-based paradigm for image Segmentation (ARGenSeg), achieving multimodal understanding and pixel-level perception within a unified framework. Prior works integrating image segmentation into multimodal large language models (MLLMs) typically employ either boundary points representation or dedicated segmentation heads. These methods rely on discrete representations or semantic prompts fed into task-specific decoders, which limits the ability of the MLLM to capture fine-grained visual details. To address these challenges, we introduce a segmentation framework for MLLM based on image generation, which naturally produces dense masks for target objects. We leverage MLLM to output visual tokens and detokenize them into images using an universal VQ-VAE, making the segmentation fully dependent on the pixel-level understanding of the MLLM. To reduce inference latency, we employ a next-scale-prediction strategy to generate required visual tokens in parallel. Extensive experiments demonstrate that our method surpasses prior state-of-the-art approaches on multiple segmentation datasets with a remarkable boost in inference speed, while maintaining strong understanding capabilities.