Pre-addestramento su larga scala per la generazione di didascalie video contestualizzate

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Autori: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Abstract

Proponiamo un approccio innovativo per la generazione di didascalie e il grounding di oggetti nei video, in cui gli oggetti menzionati nelle didascalie vengono ancorati al video tramite bounding box temporalmente dense. Introduciamo i seguenti contributi. In primo luogo, presentiamo un metodo di annotazione automatica su larga scala che aggrega didascalie associate a bounding box su singoli fotogrammi in annotazioni di bounding box temporalmente dense e coerenti. Applichiamo questo approccio al dataset HowTo100M per costruire un ampio dataset di pre-training, denominato HowToGround1M. Introduciamo inoltre un modello di Generazione di Didascalie Video con Grounding, chiamato GROVE, e pre-addestriamo il modello su HowToGround1M. In secondo luogo, presentiamo un nuovo dataset, chiamato iGround, composto da 3500 video con didascalie annotate manualmente e bounding box spazialmente e temporalmente dense. Questo ci permette di misurare i progressi su questo problema complesso, nonché di affinare il nostro modello su questi dati di piccola scala ma di alta qualità. In terzo luogo, dimostriamo che il nostro approccio raggiunge risultati all'avanguardia sul dataset iGround proposto rispetto a diverse baseline, così come sui dataset VidSTG e ActivityNet-Entities. Eseguiamo ampie analisi di ablazione che dimostrano l'importanza del pre-training utilizzando il nostro dataset HowToGround1M annotato automaticamente, seguito dal fine-tuning sul dataset iGround annotato manualmente, e convalidiamo i contributi tecnici chiave del nostro modello.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.