Масштабное предварительное обучение для генерации обоснованных описаний видео

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Авторы: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Аннотация

Мы предлагаем новый подход для создания описаний и локализации объектов в видео, где объекты в описании привязываются к видео с помощью временно плотных ограничивающих рамок. Мы представляем следующие вклады. Во-первых, мы предлагаем метод автоматической аннотации в больших масштабах, который объединяет описания, привязанные к ограничивающим рамкам в отдельных кадрах, во временно плотные и согласованные аннотации ограничивающих рамок. Мы применяем этот подход к набору данных HowTo100M для создания крупномасштабного предварительно аннотированного набора данных, названного HowToGround1M. Мы также представляем модель генерации заземленных описаний видео, названную GROVE, и предварительно обучаем эту модель на HowToGround1M. Во-вторых, мы представляем новый набор данных, называемый iGround, состоящий из 3500 видео с ручными аннотациями описаний и плотно пространственно-временными ограничивающими рамками. Это позволяет нам измерять прогресс в решении этой сложной задачи, а также дообучать нашу модель на этих небольших, но высококачественных данных. В-третьих, мы демонстрируем, что наш подход достигает наилучших результатов на предложенном наборе данных iGround по сравнению с несколькими базовыми методами, а также на наборах данных VidSTG и ActivityNet-Entities. Мы проводим обширные эксперименты, которые показывают важность предварительного обучения с использованием нашего автоматически аннотированного набора данных HowToGround1M с последующим дообучением на ручном наборе данных iGround, а также подтверждаем ключевые технические вклады нашей модели.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.