VidChapters-7M：大規模なビデオチャプター生成

VidChapters-7M: Video Chapters at Scale

September 25, 2023

著者: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

要旨

長い動画を章に分割することで、ユーザーは興味のある情報に素早くナビゲートできるようになります。この重要なトピックは、公開されたデータセットの不足により十分に研究されてきませんでした。この問題を解決するため、私たちは817Kのユーザーが章分けした動画を含む合計7Mの章からなるVidChapters-7Mデータセットを提示します。VidChapters-7Mは、ユーザーが注釈を付けた章をスクレイピングすることで、追加の手動注釈なしにオンライン動画から自動的かつスケーラブルに作成されています。このデータに基づいて、以下の3つのタスクを紹介します。まず、動画章生成タスクは、動画を時間的に分割し、各セグメントの章タイトルを生成するものです。この問題をさらに分析するため、このタスクの2つのバリエーションも定義します。1つは、正解の境界が与えられた場合の動画章生成で、注釈付きの動画セグメントが与えられた場合に章タイトルを生成するものです。もう1つは、動画章グラウンディングで、注釈付きの章タイトルが与えられた場合にその章を時間的に特定するものです。これら3つのタスクに対して、シンプルなベースラインと最先端のビデオ言語モデルをベンチマークします。また、VidChapters-7Mでの事前学習が、ゼロショット設定とファインチューニング設定の両方で、高密度動画キャプショニングタスクにうまく転移し、YouCook2とViTTベンチマークでの最先端の性能を大幅に向上させることも示します。最後に、私たちの実験は、下流タスクの性能が事前学習データセットのサイズに応じてうまくスケールすることを明らかにしています。私たちのデータセット、コード、モデルはhttps://antoyang.github.io/vidchapters.htmlで公開されています。

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.