ARGenSeg: Сегментация изображений с помощью авторегрессионной модели генерации изображений

ARGenSeg: Image Segmentation with Autoregressive Image Generation Model

October 23, 2025

Авторы: Xiaolong Wang, Lixiang Ru, Ziyuan Huang, Kaixiang Ji, Dandan Zheng, Jingdong Chen, Jun Zhou

cs.AI

Аннотация

Мы предлагаем новую парадигму сегментации изображений на основе авторегрессионной генерации (ARGenSeg), обеспечивающую мультимодальное понимание и пиксельное восприятие в единой системе. Предыдущие работы, интегрирующие сегментацию изображений в мультимодальные большие языковые модели (MLLM), обычно используют либо представление граничных точек, либо специализированные сегментационные головы. Эти методы опираются на дискретные представления или семантические промпты, подаваемые в декодеры, ориентированные на конкретную задачу, что ограничивает способность MLLM улавливать мелкозернистые визуальные детали. Для решения этих проблем мы представляем фреймворк сегментации для MLLM на основе генерации изображений, который естественным образом производит плотные маски для целевых объектов. Мы используем MLLM для генерации визуальных токенов и преобразуем их обратно в изображения с помощью универсального VQ-VAE, делая сегментацию полностью зависимой от пиксельного понимания MLLM. Для снижения задержки вывода мы применяем стратегию предсказания следующего масштаба для параллельной генерации необходимых визуальных токенов. Многочисленные эксперименты демонстрируют, что наш метод превосходит предыдущие передовые подходы на нескольких наборах данных по сегментации с значительным ускорением времени вывода, сохраняя при этом высокие способности к пониманию.

English

We propose a novel AutoRegressive Generation-based paradigm for image Segmentation (ARGenSeg), achieving multimodal understanding and pixel-level perception within a unified framework. Prior works integrating image segmentation into multimodal large language models (MLLMs) typically employ either boundary points representation or dedicated segmentation heads. These methods rely on discrete representations or semantic prompts fed into task-specific decoders, which limits the ability of the MLLM to capture fine-grained visual details. To address these challenges, we introduce a segmentation framework for MLLM based on image generation, which naturally produces dense masks for target objects. We leverage MLLM to output visual tokens and detokenize them into images using an universal VQ-VAE, making the segmentation fully dependent on the pixel-level understanding of the MLLM. To reduce inference latency, we employ a next-scale-prediction strategy to generate required visual tokens in parallel. Extensive experiments demonstrate that our method surpasses prior state-of-the-art approaches on multiple segmentation datasets with a remarkable boost in inference speed, while maintaining strong understanding capabilities.