VidChapters-7M: Video-Kapitel in großem Maßstab

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Autoren: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Zusammenfassung

Das Segmentieren langer Videos in Kapitel ermöglicht es Nutzern, schnell zu den Informationen zu navigieren, die sie interessieren. Dieses wichtige Thema wurde bisher kaum erforscht, da es an öffentlich zugänglichen Datensätzen mangelt. Um dieses Problem zu lösen, stellen wir VidChapters-7M vor, einen Datensatz mit 817K von Nutzern kapitelweise strukturierten Videos, die insgesamt 7M Kapitel umfassen. VidChapters-7M wird automatisch in skalierbarer Weise aus Online-Videos erstellt, indem von Nutzern annotierte Kapitel gesammelt werden, und erfordert somit keine zusätzliche manuelle Annotation. Wir führen drei Aufgaben basierend auf diesen Daten ein. Erstens besteht die Aufgabe der Video-Kapitelgenerierung darin, das Video zeitlich zu segmentieren und für jedes Segment einen Kapiteltitel zu generieren. Um das Problem weiter zu zerlegen, definieren wir zwei Varianten dieser Aufgabe: die Generierung von Kapiteltiteln bei gegebenen Ground-Truth-Grenzen, was die Erstellung eines Kapiteltitels für ein annotiertes Videosegment erfordert, und die Video-Kapitelverankerung, bei der ein Kapitel zeitlich lokalisiert werden muss, wenn dessen annotierter Titel gegeben ist. Wir evaluieren sowohl einfache Baselines als auch state-of-the-art Video-Sprachmodelle für diese drei Aufgaben. Zudem zeigen wir, dass das Vortrainieren auf VidChapters-7M gut auf Aufgaben der dichten Videobeschreibung übertragbar ist, sowohl im Zero-Shot- als auch im Fine-Tuning-Setting, und den Stand der Technik auf den Benchmarks YouCook2 und ViTT erheblich verbessert. Schließlich zeigen unsere Experimente, dass die Downstream-Leistung gut mit der Größe des Vortrainingsdatensatzes skaliert. Unser Datensatz, Code und Modelle sind öffentlich unter https://antoyang.github.io/vidchapters.html verfügbar.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.