옴니 모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩

초록

밀집 비디오 캡셔닝은 비디오 이벤트에 대한 시간적으로 정렬된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 이점을 제공합니다. 이 분야에서는 자기회귀적 비디오 대규모 언어 모델이 강력한 생성 및 교차 모달 모델링 능력으로 인해 널리 사용되는 패러다임으로 부상했습니다. 그러나 토큰 단위 패러다임 하에서 밀집 캡션을 생성하면 추론 효율성이 심각하게 저하되고, 비디오 길이와 이벤트 밀도가 증가함에 따라 확장성이 저해됩니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 정렬된 캡셔닝 성능도 개선하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 통찰은 시간적으로 구분되는 이벤트 간의 약한 지역적 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 교차 이벤트 의존성이 약한 토큰은 병렬로 디코딩할 수 있는 반면, 각 이벤트 내에서 긴밀하게 결합된 토큰은 순차적 디코딩을 유지하여 지역적 의미 일관성을 보존합니다. 이 통찰을 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다. (1) 잠재적 전역 계획 메커니즘: 이는 이벤트 수준 구조를 자동으로 학습하고, 전역적 교차 이벤트 인과성을 인코딩하는 압축 토큰을 생성하며, 이벤트 수준의 시청각 의미론을 적응적으로 집계하여 후속 의존성 재구성 및 병렬 디코딩을 안내합니다. (2) 이벤트 분해 병렬 디코딩 메커니즘: 이는 지역적 초점과 전역적 교차 이벤트 인식을 효과적으로 균형 있게 조정합니다. 다양한 벤치마크 실험에서 제안된 접근 방식이 전방위 모달 이벤트 정렬 및 캡셔닝에서 효율성과 성능 모두에서 명확한 이점을 보여줍니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.

English

Dense video captioning aims to generate temporally grounded descriptions of video events, benefiting both event-level video understanding and generation. In this domain, autoregressive video large language models have emerged as a prevalent paradigm due to their strong generative and cross-modal modeling capacity. However, generating dense captions under the token-by-token paradigm severely limits inference efficiency and hinders scalability as video length and event density increase. In this work, we propose a parallelized autoregressive framework that not only improves generation efficiency but also enhances temporally grounded captioning performance. Our key insight is to exploit the weak local dependencies across temporally distinct events to restructure the causal dependency graph, thereby enabling lossless parallel generation. Specifically, tokens with weak cross-event dependencies can be decoded in parallel, while tightly coupled tokens within each event retain sequential decoding to preserve local semantic coherence. To realize this insight, we introduce two key components for lossless parallel decoding: (1) a latent global planning mechanism that automatically learns the event-level structure and produces compact tokens encoding global inter-event causality while adaptively aggregating event-level audio-visual semantics, guiding subsequent dependency restructuring and parallel decoding; and (2) an event-factorized parallel decoding mechanism that effectively balances local focus with global inter-event awareness. Experiments on various benchmarks demonstrate the clear advantage of our approach in both efficiency and performance in omni-modal event grounding and captioning. Project website: https://github.com/showlab/PadCaptioner.