PerceptionDLM: Параллельное региональное восприятие с помощью мультимодальных диффузионных языковых моделей

Аннотация

Мультимодальные большие языковые модели (MLLM) достигли значительного прогресса в задачах визуального восприятия. Однако большинство существующих MLLM полагаются на авторегрессионную генерацию, что ограничивает их эффективность для задач перцепции, требующих описания нескольких областей. В данной работе мы предлагаем PerceptionDLM — мультимодальную диффузионную языковую модель, оптимизированную для эффективного параллельного восприятия областей. Наша архитектура построена на основе PerceptionDLM-Base — сильного базового решения, достигающего передовых результатов среди открытых диффузионных MLLM, и полностью использует преимущества параллельного декодирования, присущего диффузионным языковым моделям (DLM). В частности, мы вводим эффективный промптинг и структурированное внимание с маскированием, чтобы обеспечить одновременное восприятие нескольких маскированных областей, что позволяет модели генерировать описания областей параллельно как на уровне последовательностей, так и на уровне токенов. Такая конструкция значительно повышает эффективность вывода по сравнению с существующими подходами, которые обрабатывают области последовательно. Для систематической оценки свойства параллелизма визуальной перцепции у DLM мы создали новый бенчмарк параллельного детализированного локализованного описания (ParaDLC-Bench), расширив DLC-Bench включением нескольких масок областей на изображение, что позволяет совместно оценивать как качество описаний, так и эффективность вывода. Эксперименты показывают, что PerceptionDLM сохраняет конкурентоспособную производительность в описании областей, одновременно достигая существенного ускорения для задач восприятия нескольких областей. Наши результаты подчеркивают потенциал мультимодальных диффузионных языковых моделей для эффективного параллельного визуального восприятия. Насколько нам известно, мы первые, кто добился параллельного описания и восприятия областей, используя преимущества диффузионных языковых моделей. Код, модели и наборы данных опубликованы.

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.