VidChapters-7M: Capítulos de Vídeo em Escala

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Autores: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Resumo

Segmentar vídeos longos em capítulos permite que os usuários naveguem rapidamente até as informações de seu interesse. Este tópico importante tem sido pouco estudado devido à falta de conjuntos de dados publicamente disponíveis. Para resolver esse problema, apresentamos o VidChapters-7M, um conjunto de dados com 817K vídeos divididos em capítulos por usuários, totalizando 7M capítulos. O VidChapters-7M é criado automaticamente a partir de vídeos online de maneira escalável, por meio da coleta de capítulos anotados por usuários, sem a necessidade de anotação manual adicional. Introduzimos as três seguintes tarefas baseadas nesses dados. Primeiro, a tarefa de geração de capítulos de vídeo consiste em segmentar temporalmente o vídeo e gerar um título para cada segmento. Para analisar o problema mais detalhadamente, também definimos duas variantes dessa tarefa: a geração de capítulos de vídeo com limites de segmentação fornecidos, que requer a geração de um título dado um segmento de vídeo anotado, e a localização de capítulos de vídeo, que requer a localização temporal de um capítulo dado seu título anotado. Avaliamos tanto modelos baselines simples quanto modelos estado da arte de vídeo e linguagem para essas três tarefas. Também mostramos que o pré-treinamento no VidChapters-7M transfere bem para tarefas de legendagem densa de vídeos, tanto em configurações zero-shot quanto de ajuste fino, melhorando significativamente o estado da arte nos benchmarks YouCook2 e ViTT. Por fim, nossos experimentos revelam que o desempenho em tarefas subsequentes escala bem com o tamanho do conjunto de dados de pré-treinamento. Nosso conjunto de dados, código e modelos estão publicamente disponíveis em https://antoyang.github.io/vidchapters.html.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.