PerceptionDLM : Perception parallèle de régions avec des modèles de langage à diffusion multimodale

Résumé

Les modèles de langage multimodaux à grande échelle (MLLMs) ont réalisé des progrès remarquables dans les tâches de compréhension visuelle. Cependant, la plupart des MLLMs existants reposent sur une génération autorégressive, ce qui limite leur efficacité pour les tâches de perception nécessitant le légendage de plusieurs régions. Dans ce travail, nous proposons PerceptionDLM, un modèle de langage multimodal par diffusion optimisé pour une perception parallèle efficace des régions. Construit sur PerceptionDLM-Base, une référence fondationnelle solide qui atteint des performances de pointe parmi les MLLMs par diffusion open-source, notre architecture exploite pleinement la nature de décodage parallèle des DLMs. Plus précisément, nous introduisons un prompting efficace et un masquage d'attention structuré pour permettre la perception simultanée de plusieurs régions masquées, permettant au modèle de générer des descriptions de régions en parallèle, à la fois aux niveaux de la séquence et des jetons. Cette conception améliore considérablement l'efficacité d'inférence par rapport aux approches existantes qui traitent les régions séquentiellement. Pour évaluer systématiquement la propriété de parallélisme de la capacité de perception visuelle des DLMs, nous construisons un nouveau benchmark de légendage localisé détaillé parallèle (ParaDLC-Bench) en étendant le DLC-Bench pour inclure plusieurs masques de région par image, permettant une évaluation conjointe de la qualité du légendage et de l'efficacité d'inférence. Les expériences montrent que PerceptionDLM maintient des performances compétitives en matière de légendage de régions tout en obtenant des améliorations substantielles de vitesse pour les tâches de perception multi-régions. Nos résultats soulignent le potentiel des modèles de langage multimodaux par diffusion pour une perception visuelle parallèle et efficace. À notre connaissance, nous sommes les premiers à réaliser le légendage et la perception parallèles de régions en exploitant les avantages des modèles de langage par diffusion. Le code, les modèles et les ensembles de données sont publiés.

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.