オムニモーダル高密度ビデオキャプショニングのための並列化自己回帰デコーディング

要旨

高密度ビデオキャプショニングは、映像イベントの時間的に位置づけられた説明を生成することを目的としており、イベントレベルの映像理解と生成の両方に貢献する。この分野では、自己回帰型ビデオ大規模言語モデルが、その強力な生成能力とクロスモーダルモデリング能力により、一般的なパラダイムとして台頭している。しかしながら、トークン単位のパラダイムで高密度キャプションを生成すると、推論効率が著しく制限され、映像の長さやイベント密度が増加するにつれてスケーラビリティが妨げられる。本研究では、生成効率を向上させるだけでなく、時間的に位置づけられたキャプショニング性能も強化する、並列化自己回帰フレームワークを提案する。我々の主要な洞察は、時間的に異なるイベント間の弱い局所的な依存関係を利用して因果依存グラフを再構築し、それによりロスレスな並列生成を可能にすることである。具体的には、イベント間の依存関係が弱いトークンは並列にデコードできる一方、各イベント内で密に結合されたトークンは逐次デコードを維持して局所的な意味的一貫性を保つ。この洞察を実現するために、ロスレス並列デコードのための2つの主要コンポーネントを導入する：(1) イベントレベルの構造を自動的に学習し、グローバルなイベント間因果関係をエンコードするコンパクトなトークンを生成すると同時に、イベントレベルの音声視覚セマンティクスを適応的に集約し、その後の依存関係再構築と並列デコードを導く潜在グローバル計画メカニズム、(2) 局所的焦点とグローバルなイベント間認識を効果的にバランスするイベント因子化並列デコードメカニズム。様々なベンチマークでの実験により、我々のアプローチが全モーダルイベントグラウンディングとキャプショニングにおいて効率と性能の両方で明確な利点を示す。プロジェクトウェブサイト: https://github.com/showlab/PadCaptioner.

English

Dense video captioning aims to generate temporally grounded descriptions of video events, benefiting both event-level video understanding and generation. In this domain, autoregressive video large language models have emerged as a prevalent paradigm due to their strong generative and cross-modal modeling capacity. However, generating dense captions under the token-by-token paradigm severely limits inference efficiency and hinders scalability as video length and event density increase. In this work, we propose a parallelized autoregressive framework that not only improves generation efficiency but also enhances temporally grounded captioning performance. Our key insight is to exploit the weak local dependencies across temporally distinct events to restructure the causal dependency graph, thereby enabling lossless parallel generation. Specifically, tokens with weak cross-event dependencies can be decoded in parallel, while tightly coupled tokens within each event retain sequential decoding to preserve local semantic coherence. To realize this insight, we introduce two key components for lossless parallel decoding: (1) a latent global planning mechanism that automatically learns the event-level structure and produces compact tokens encoding global inter-event causality while adaptively aggregating event-level audio-visual semantics, guiding subsequent dependency restructuring and parallel decoding; and (2) an event-factorized parallel decoding mechanism that effectively balances local focus with global inter-event awareness. Experiments on various benchmarks demonstrate the clear advantage of our approach in both efficiency and performance in omni-modal event grounding and captioning. Project website: https://github.com/showlab/PadCaptioner.