PerceptionDLM: Parallelle Regio Perceptie met Multimodale Diffusie Taalmodellen

Samenvatting

Multimodale grote taalmodellen (MLLM's) hebben opmerkelijke vooruitgang geboekt bij visuele begripstaken. De meeste bestaande MLLM's zijn echter afhankelijk van autoregressieve generatie, wat hun efficiëntie beperkt voor perceptietaken die het beschrijven van meerdere regio's vereisen. In dit werk stellen we PerceptionDLM voor, een multimodaal diffusie-taalmodel geoptimaliseerd voor efficiënte parallelle regio-perceptie. Onze architectuur is gebouwd op PerceptionDLM-Base, een sterke fundamentele basislijn die state-of-the-art prestaties levert onder open-source diffusie-MLLM's, en maakt volledig gebruik van de parallelle decodeer-aard van DLMs. Specifiek introduceren we efficiënt prompten en gestructureerde aandachtsmaskering om gelijktijdige perceptie van meerdere gemaskeerde regio's mogelijk te maken, waardoor het model regio-beschrijvingen parallel kan genereren op zowel sequentie- als tokenniveau. Dit ontwerp verbetert de inferentie-efficiëntie aanzienlijk in vergelijking met bestaande benaderingen die regio's sequentieel verwerken. Om de parallelliteit van visuele perceptiecapaciteit voor DLMs systematisch te evalueren, construeren we een nieuwe Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) door DLC-Bench op te schalen met meerdere regio-maskers per afbeelding, waardoor gezamenlijke evaluatie van zowel bijschriftkwaliteit als inferentie-efficiëntie mogelijk wordt. Experimenten tonen aan dat PerceptionDLM concurrerende prestaties handhaaft in regio-ondertiteling terwijl het aanzienlijke snelheidsverbeteringen behaalt voor perceptietaken met meerdere regio's. Onze resultaten benadrukken het potentieel van multimodale diffusie-taalmodellen voor efficiënte, parallelle visuele perceptie. Voor zover wij weten, zijn we de eersten die parallelle regio-ondertiteling en perceptie realiseren door de voordelen van diffusie-taalmodellen te benutten. Code, modellen en datasets worden openbaar gemaakt.

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.