VidChapters-7M: Capitoli Video su Larga Scala

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Autori: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Abstract

La segmentazione di video lunghi in capitoli consente agli utenti di navigare rapidamente verso le informazioni di loro interesse. Questo importante argomento è stato poco studiato a causa della mancanza di dataset pubblicamente disponibili. Per affrontare questo problema, presentiamo VidChapters-7M, un dataset di 817K video con capitoli annotati dagli utenti, comprendente un totale di 7M capitoli. VidChapters-7M è stato creato automaticamente da video online in modo scalabile, estraendo i capitoli annotati dagli utenti e quindi senza alcuna annotazione manuale aggiuntiva. Introduciamo i seguenti tre task basati su questi dati. Innanzitutto, il task di generazione di capitoli video consiste nella segmentazione temporale del video e nella generazione di un titolo per ciascun segmento. Per analizzare ulteriormente il problema, definiamo anche due varianti di questo task: la generazione di capitoli video dati i limiti temporali di riferimento, che richiede la generazione di un titolo dato un segmento video annotato, e il grounding di capitoli video, che richiede la localizzazione temporale di un capitolo dato il suo titolo annotato. Confrontiamo sia baseline semplici che modelli video-linguistici all'avanguardia per questi tre task. Mostriamo inoltre che il pretraining su VidChapters-7M si trasferisce bene ai task di captioning video denso sia in impostazioni zero-shot che di fine-tuning, migliorando significativamente lo stato dell'arte sui benchmark YouCook2 e ViTT. Infine, i nostri esperimenti rivelano che le prestazioni a valle scalano bene con la dimensione del dataset di pretraining. Il nostro dataset, codice e modelli sono pubblicamente disponibili all'indirizzo https://antoyang.github.io/vidchapters.html.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.