PerceptionDLM: マルチモーダル拡散言語モデルによる並列領域知覚

要旨

マルチモーダル大規模言語モデル（MLLM）は、視覚理解タスクにおいて顕著な進歩を遂げている。しかし、既存のMLLMのほとんどは自己回帰生成に依存しており、複数の領域のキャプション生成を必要とする知覚タスクにおいて効率面で制約がある。本研究では、効率的な並列領域認識に最適化されたマルチモーダル拡散言語モデル「PerceptionDLM」を提案する。我々のアーキテクチャは、オープンソースの拡散MLLMの中で最先端の性能を達成した強力な基盤モデル「PerceptionDLM-Base」を基盤とし、拡散言語モデル（DLM）の並列復号特性を最大限に活用する。具体的には、効率的なプロンプティングと構造化アテンションマスキングを導入することで、マスクされた複数領域の同時認識を可能にし、シーケンスレベルおよびトークンレベルの両方で領域記述を並列生成する。この設計により、領域を逐次的に処理する既存手法と比較して推論効率が大幅に向上する。DLMの視覚認識能力における並列性を体系的に評価するため、DLC-Benchを拡張し、画像ごとに複数の領域マスクを含む新たなベンチマーク「ParaDLC-Bench」（Parallel Detailed Localized Captioning Benchmark）を構築した。これにより、キャプション品質と推論効率の両方を同時に評価可能となる。実験結果は、PerceptionDLMが領域キャプションにおいて競争力のある性能を維持しつつ、複数領域認識タスクで大幅な速度向上を達成することを示している。本研究の成果は、効率的で並列な視覚認識におけるマルチモーダル拡散言語モデルの可能性を強調するものである。我々の知る限り、拡散言語モデルの利点を活用して並列領域キャプションと認識を実現したのは本研究が初めてである。コード、モデル、データセットは公開されている。

English

Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.