VidChapters-7M: Capítulos de Video a Gran Escala

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Autores: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Resumen

La segmentación de videos largos en capítulos permite a los usuarios navegar rápidamente hacia la información de su interés. Este tema importante ha sido poco estudiado debido a la falta de conjuntos de datos públicamente disponibles. Para abordar este problema, presentamos VidChapters-7M, un conjunto de datos que incluye 817K videos con capítulos anotados por usuarios, sumando un total de 7M capítulos. VidChapters-7M se crea automáticamente a partir de videos en línea de manera escalable, extrayendo capítulos anotados por usuarios y, por lo tanto, sin necesidad de anotación manual adicional. Introducimos las siguientes tres tareas basadas en estos datos. Primero, la tarea de generación de capítulos de video consiste en segmentar temporalmente el video y generar un título para cada segmento. Para analizar el problema en mayor profundidad, también definimos dos variantes de esta tarea: la generación de capítulos de video dados los límites de segmentación reales, que requiere generar un título para un segmento de video anotado, y la localización temporal de capítulos, que requiere ubicar temporalmente un capítulo dado su título anotado. Evaluamos tanto líneas base simples como modelos de vanguardia en lenguaje y video para estas tres tareas. También demostramos que el preentrenamiento en VidChapters-7M se transfiere eficazmente a tareas de subtitulación densa de video, tanto en configuraciones zero-shot como de ajuste fino, mejorando significativamente el estado del arte en los benchmarks YouCook2 y ViTT. Finalmente, nuestros experimentos revelan que el rendimiento en tareas posteriores escala adecuadamente con el tamaño del conjunto de datos de preentrenamiento. Nuestro conjunto de datos, código y modelos están disponibles públicamente en https://antoyang.github.io/vidchapters.html.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.