Parallelisiertes autoregressives Dekodieren für omni-modale dichte Videobeschriftung

Zusammenfassung

Dichte Videobeschriftung zielt darauf ab, zeitlich verankerte Beschreibungen von Videoereignissen zu erzeugen, was sowohl das ereignisbasierte Verständnis als auch die Generierung von Videos unterstützt. In diesem Bereich haben sich autoregressive große Videosprachmodelle aufgrund ihrer starken generativen und modalitätsübergreifenden Modellierungsfähigkeit als vorherrschendes Paradigma etabliert. Allerdings schränkt die Erzeugung dichter Beschriftungen unter dem Token-für-Token-Paradigma die Inferenzeffizienz erheblich ein und behindert die Skalierbarkeit mit zunehmender Videolänge und Ereignisdichte. In dieser Arbeit schlagen wir ein parallelisiertes autoregressives Framework vor, das nicht nur die Generierungseffizienz verbessert, sondern auch die Leistung bei der zeitlich verankerten Beschriftung steigert. Unser zentraler Ansatz besteht darin, die schwachen lokalen Abhängigkeiten zwischen zeitlich getrennten Ereignissen auszunutzen, um den Kausalabhängigkeitsgraphen umzustrukturieren und so eine verlustfreie parallele Generierung zu ermöglichen. Konkret können Token mit schwachen ereignisübergreifenden Abhängigkeiten parallel dekodiert werden, während eng gekoppelte Token innerhalb jedes Ereignisses sequenzielle Dekodierung beibehalten, um die lokale semantische Kohärenz zu bewahren. Zur Umsetzung dieses Ansatzes führen wir zwei Schlüsselkomponenten für die verlustfreie parallele Dekodierung ein: (1) einen latenten globalen Planungsmechanismus, der automatisch die Ereignisebene-Struktur erlernt und kompakte Tokens erzeugt, die die globale ereignisübergreifende Kausalität kodieren, während er adaptiv audio-visuelle Semantik auf Ereignisebene aggregiert und so die anschließende Abhängigkeitsumstrukturierung und parallele Dekodierung leitet; und (2) einen ereignisfaktorisierten parallelen Dekodierungsmechanismus, der lokalen Fokus mit globalem ereignisübergreifendem Bewusstsein effektiv ausbalanciert. Experimente auf verschiedenen Benchmarks zeigen den klaren Vorteil unseres Ansatzes sowohl in Effizienz als auch Leistung bei omni-modaler Ereignisverankerung und -beschriftung. Projekt-Website: https://github.com/showlab/PadCaptioner.

English

Dense video captioning aims to generate temporally grounded descriptions of video events, benefiting both event-level video understanding and generation. In this domain, autoregressive video large language models have emerged as a prevalent paradigm due to their strong generative and cross-modal modeling capacity. However, generating dense captions under the token-by-token paradigm severely limits inference efficiency and hinders scalability as video length and event density increase. In this work, we propose a parallelized autoregressive framework that not only improves generation efficiency but also enhances temporally grounded captioning performance. Our key insight is to exploit the weak local dependencies across temporally distinct events to restructure the causal dependency graph, thereby enabling lossless parallel generation. Specifically, tokens with weak cross-event dependencies can be decoded in parallel, while tightly coupled tokens within each event retain sequential decoding to preserve local semantic coherence. To realize this insight, we introduce two key components for lossless parallel decoding: (1) a latent global planning mechanism that automatically learns the event-level structure and produces compact tokens encoding global inter-event causality while adaptively aggregating event-level audio-visual semantics, guiding subsequent dependency restructuring and parallel decoding; and (2) an event-factorized parallel decoding mechanism that effectively balances local focus with global inter-event awareness. Experiments on various benchmarks demonstrate the clear advantage of our approach in both efficiency and performance in omni-modal event grounding and captioning. Project website: https://github.com/showlab/PadCaptioner.