PerceptionDLM: 다중 모드 확산 언어 모델을 이용한 병렬 영역 인식

초록

다중 모드 대규모 언어 모델(MLLM)은 시각적 이해 작업에서 놀라운 진전을 이루었다. 그러나 기존의 대부분 MLLM은 자기회귀 생성에 의존하기 때문에 여러 영역에 대한 캡셔닝이 필요한 지각 작업에서 효율성이 제한된다. 본 연구에서는 효율적인 병렬 영역 인식을 위해 최적화된 다중 모드 확산 언어 모델인 PerceptionDLM을 제안한다. 오픈소스 확산 MLLM 중 최고 성능을 달성한 강력한 기본 기반 모델인 PerceptionDLM-Base를 기반으로, 우리의 아키텍처는 확산 언어 모델(DLM)의 병렬 디코딩 특성을 완전히 활용한다. 구체적으로, 효율적인 프롬프팅과 구조화된 어텐션 마스킹을 도입하여 여러 마스킹된 영역을 동시에 인식할 수 있게 함으로써, 모델이 시퀀스 수준과 토큰 수준 모두에서 영역 설명을 병렬로 생성할 수 있도록 한다. 이 설계는 영역을 순차적으로 처리하는 기존 접근 방식에 비해 추론 효율성을 크게 향상시킨다. DLM의 시각적 인식 능력에 대한 병렬성 특성을 체계적으로 평가하기 위해, DLC-Bench를 확장하여 이미지당 여러 영역 마스크를 포함하는 새로운 병렬 상세 지역화 캡셔닝 벤치마크(ParaDLC-Bench)를 구축하였으며, 이를 통해 캡션 품질과 추론 효율성을 함께 평가할 수 있다. 실험 결과, PerceptionDLM은 영역 캡셔닝에서 경쟁력 있는 성능을 유지하면서도 다중 영역 인식 작업에서 상당한 속도 향상을 달성함을 보여준다. 본 연구 결과는 효율적이고 병렬적인 시각적 인식을 위한 다중 모드 확산 언어 모델의 잠재력을 강조한다. 우리가 아는 한, 확산 언어 모델의 장점을 활용하여 병렬 영역 캡션 및 인식을 달성한 최초의 사례이다. 코드, 모델 및 데이터셋이 공개되었다.

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.