Pré-treinamento em Grande Escala para Geração de Legendas de Vídeo Fundamentadas

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Autores: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Resumo

Propomos uma abordagem inovadora para a geração de legendas e localização de objetos em vídeos, onde os objetos mencionados nas legendas são localizados no vídeo por meio de caixas delimitadoras temporalmente densas. Apresentamos as seguintes contribuições. Primeiro, introduzimos um método de anotação automática em larga escala que agrega legendas associadas a caixas delimitadoras em quadros individuais, resultando em anotações de caixas delimitadoras temporalmente densas e consistentes. Aplicamos essa abordagem no conjunto de dados HowTo100M para construir um grande conjunto de dados de pré-treinamento, denominado HowToGround1M. Também apresentamos um modelo de Geração de Legendas de Vídeo com Localização, chamado GROVE, e realizamos o pré-treinamento desse modelo no HowToGround1M. Segundo, introduzimos um novo conjunto de dados, chamado iGround, composto por 3500 vídeos com legendas anotadas manualmente e caixas delimitadoras espacial e temporalmente densas. Isso nos permite medir o progresso nesse problema desafiador, bem como ajustar nosso modelo nesses dados de pequena escala, mas de alta qualidade. Terceiro, demonstramos que nossa abordagem alcança resultados de ponta no conjunto de dados iGround proposto, em comparação com várias linhas de base, bem como nos conjuntos de dados VidSTG e ActivityNet-Entities. Realizamos extensas análises de ablação que demonstram a importância do pré-treinamento usando nosso conjunto de dados HowToGround1M anotado automaticamente, seguido pelo ajuste fino no conjunto de dados iGround anotado manualmente, e validamos as principais contribuições técnicas do nosso modelo.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.