VidChapters-7M: Videohoofdstukken op Schaal

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Auteurs: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Samenvatting

Het segmenteren van lange video's in hoofdstukken stelt gebruikers in staat om snel naar de informatie van hun interesse te navigeren. Dit belangrijke onderwerp is onderbelicht gebleven vanwege het ontbreken van openbaar beschikbare datasets. Om dit probleem aan te pakken, presenteren we VidChapters-7M, een dataset van 817K door gebruikers geannoteerde video's met in totaal 7M hoofdstukken. VidChapters-7M wordt automatisch op een schaalbare manier gecreëerd door online video's te scrapen met door gebruikers geannoteerde hoofdstukken, en vereist dus geen aanvullende handmatige annotatie. We introduceren de volgende drie taken op basis van deze data. Ten eerste bestaat de taak van het genereren van video-hoofdstukken uit het temporeel segmenteren van de video en het genereren van een hoofdstuktitel voor elk segment. Om het probleem verder te ontleden, definiëren we ook twee varianten van deze taak: het genereren van video-hoofdstukken gegeven grondwaarheidsgrenzen, wat vereist dat een hoofdstuktitel wordt gegenereerd voor een geannoteerd videosegment, en het verankeren van video-hoofdstukken, wat vereist dat een hoofdstuk temporeel wordt gelokaliseerd gegeven de geannoteerde titel. We benchmarken zowel eenvoudige baselines als state-of-the-art video-taalmodellen voor deze drie taken. We laten ook zien dat vooraf trainen op VidChapters-7M goed overdraagt naar taken voor dichte videobeschrijvingen, zowel in zero-shot als finetuning settings, wat de state of the art aanzienlijk verbetert op de YouCook2 en ViTT benchmarks. Tot slot tonen onze experimenten aan dat de downstream-prestaties goed schalen met de grootte van de vooraf getrainde dataset. Onze dataset, code en modellen zijn openbaar beschikbaar op https://antoyang.github.io/vidchapters.html.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.