AVoCaDO: 時間的オーケストレーションに基づく視聴覚ビデオキャプショナー

AVoCaDO: An Audiovisual Video Captioner Driven by Temporal Orchestration

October 12, 2025

著者: Xinlong Chen, Yue Ding, Weihong Lin, Jingyun Hua, Linli Yao, Yang Shi, Bozhou Li, Yuanxing Zhang, Qiang Liu, Pengfei Wan, Liang Wang, Tieniu Tan

cs.AI

要旨

視聴覚ビデオキャプショニングは、視覚的イベントと聴覚的イベントの間の時間的整合性を保ちながら、意味的に豊かな記述を生成することを目的としており、これによりビデオ理解と生成の両方に貢献します。本論文では、音声と視覚モダリティ間の時間的オーケストレーションによって駆動される強力な視聴覚ビデオキャプショナー、AVoCaDOを紹介します。我々は、2段階のポストトレーニングパイプラインを提案します：(1) AVoCaDO SFTは、新たにキュレーションされた10万7千件の高品質で時間的に整合した視聴覚キャプションのデータセットでモデルをファインチューニングします；(2) AVoCaDO GRPOは、カスタマイズされた報酬関数を活用して、時間的整合性と対話の正確性をさらに向上させると同時に、キャプションの長さを正則化し、崩壊を減少させます。実験結果は、AVoCaDOが4つの視聴覚ビデオキャプショニングベンチマークにおいて既存のオープンソースモデルを大幅に上回り、また視覚のみの設定下でのVDCおよびDREAM-1Kベンチマークにおいても競争力のある性能を達成することを示しています。

English

Audiovisual video captioning aims to generate semantically rich descriptions with temporal alignment between visual and auditory events, thereby benefiting both video understanding and generation. In this paper, we present AVoCaDO, a powerful audiovisual video captioner driven by the temporal orchestration between audio and visual modalities. We propose a two-stage post-training pipeline: (1) AVoCaDO SFT, which fine-tunes the model on a newly curated dataset of 107K high-quality, temporally-aligned audiovisual captions; and (2) AVoCaDO GRPO, which leverages tailored reward functions to further enhance temporal coherence and dialogue accuracy while regularizing caption length and reducing collapse. Experimental results demonstrate that AVoCaDO significantly outperforms existing open-source models across four audiovisual video captioning benchmarks, and also achieves competitive performance on the VDC and DREAM-1K benchmark under visual-only settings.