VidChapters-7M: Масштабируемое создание глав для видео

VidChapters-7M: Video Chapters at Scale

September 25, 2023

Авторы: Antoine Yang, Arsha Nagrani, Ivan Laptev, Josef Sivic, Cordelia Schmid

cs.AI

Аннотация

Разделение длинных видео на главы позволяет пользователям быстро находить интересующую их информацию. Эта важная тема оставалась малоизученной из-за отсутствия публично доступных наборов данных. Чтобы решить эту проблему, мы представляем VidChapters-7M — набор данных, содержащий 817K видео с разметкой глав от пользователей, включая в общей сложности 7M глав. VidChapters-7M автоматически создается из онлайн-видео масштабируемым способом путем сбора глав, аннотированных пользователями, и, следовательно, не требует дополнительной ручной разметки. Мы предлагаем три задачи на основе этих данных. Во-первых, задача генерации глав видео заключается в временной сегментации видео и создании заголовка для каждого сегмента. Чтобы глубже изучить проблему, мы также определяем два варианта этой задачи: генерация заголовка главы при наличии точных границ сегмента, что требует создания заголовка для аннотированного сегмента видео, и локализация главы, что требует временного определения местоположения главы по ее аннотированному заголовку. Мы тестируем как простые базовые модели, так и современные модели для обработки видео и текста на этих трех задачах. Мы также показываем, что предварительное обучение на VidChapters-7M хорошо переносится на задачи плотного описания видео как в условиях нулевого обучения, так и при дообучении, значительно улучшая современные результаты на бенчмарках YouCook2 и ViTT. Наконец, наши эксперименты показывают, что производительность на последующих задачах хорошо масштабируется с увеличением размера набора данных для предварительного обучения. Наш набор данных, код и модели доступны по адресу https://antoyang.github.io/vidchapters.html.

English

Segmenting long videos into chapters enables users to quickly navigate to the information of their interest. This important topic has been understudied due to the lack of publicly released datasets. To address this issue, we present VidChapters-7M, a dataset of 817K user-chaptered videos including 7M chapters in total. VidChapters-7M is automatically created from videos online in a scalable manner by scraping user-annotated chapters and hence without any additional manual annotation. We introduce the following three tasks based on this data. First, the video chapter generation task consists of temporally segmenting the video and generating a chapter title for each segment. To further dissect the problem, we also define two variants of this task: video chapter generation given ground-truth boundaries, which requires generating a chapter title given an annotated video segment, and video chapter grounding, which requires temporally localizing a chapter given its annotated title. We benchmark both simple baselines and state-of-the-art video-language models for these three tasks. We also show that pretraining on VidChapters-7M transfers well to dense video captioning tasks in both zero-shot and finetuning settings, largely improving the state of the art on the YouCook2 and ViTT benchmarks. Finally, our experiments reveal that downstream performance scales well with the size of the pretraining dataset. Our dataset, code, and models are publicly available at https://antoyang.github.io/vidchapters.html.