ストリーミング型高密度映像キャプショニング

Streaming Dense Video Captioning

April 1, 2024

著者: Xingyi Zhou, Anurag Arnab, Shyamal Buch, Shen Yan, Austin Myers, Xuehan Xiong, Arsha Nagrani, Cordelia Schmid

cs.AI

要旨

高密度ビデオキャプショニング（ビデオ内の時間的に局所化されたキャプションを予測する）の理想的なモデルは、長い入力ビデオを処理し、豊かで詳細なテキスト記述を予測し、ビデオ全体を処理する前に出力を生成できる必要があります。しかし、現在の最先端モデルは、固定数のダウンサンプリングされたフレームを処理し、ビデオ全体を見た後に単一の完全な予測を行います。本論文では、ストリーミング高密度ビデオキャプショニングモデルを提案します。このモデルは、2つの新しいコンポーネントで構成されています。まず、入力トークンをクラスタリングに基づく新しいメモリモジュールを提案し、メモリサイズが固定されているため、任意の長さのビデオを処理できます。次に、ストリーミングデコーディングアルゴリズムを開発し、ビデオ全体が処理される前に予測を行うことを可能にします。このモデルは、ストリーミング能力を実現し、3つの高密度ビデオキャプショニングベンチマーク（ActivityNet、YouCook2、ViTT）において、最先端の性能を大幅に向上させます。コードはhttps://github.com/google-research/scenicで公開されています。

English

An ideal model for dense video captioning -- predicting captions localized temporally in a video -- should be able to handle long input videos, predict rich, detailed textual descriptions, and be able to produce outputs before processing the entire video. Current state-of-the-art models, however, process a fixed number of downsampled frames, and make a single full prediction after seeing the whole video. We propose a streaming dense video captioning model that consists of two novel components: First, we propose a new memory module, based on clustering incoming tokens, which can handle arbitrarily long videos as the memory is of a fixed size. Second, we develop a streaming decoding algorithm that enables our model to make predictions before the entire video has been processed. Our model achieves this streaming ability, and significantly improves the state-of-the-art on three dense video captioning benchmarks: ActivityNet, YouCook2 and ViTT. Our code is released at https://github.com/google-research/scenic.