Grootschalige voorafgaande training voor geaarde videobeschrijvingsgeneratie

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Auteurs: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Samenvatting

We stellen een nieuwe aanpak voor voor het genereren van bijschriften en het verankeren van objecten in video's, waarbij de objecten in het bijschrift worden verankerd in de video via temporeel dichte begrenzingsvakken. We introduceren de volgende bijdragen. Ten eerste presenteren we een grootschalige methode voor automatische annotatie die bijschriften met begrenzingsvakken over individuele frames aggregeert tot temporeel dichte en consistente annotaties van begrenzingsvakken. We passen deze aanpak toe op de HowTo100M-dataset om een grootschalige pre-trainingsdataset te construeren, genaamd HowToGround1M. We introduceren ook een Grounded Video Caption Generation-model, genaamd GROVE, en pre-trainen het model op HowToGround1M. Ten tweede introduceren we een nieuwe dataset, genaamd iGround, bestaande uit 3500 video's met handmatig geannoteerde bijschriften en dichte spatio-temporeel verankerde begrenzingsvakken. Dit stelt ons in staat om vooruitgang te meten op dit uitdagende probleem, evenals om ons model te fine-tunen op deze kleinschalige maar hoogwaardige data. Ten derde tonen we aan dat onze aanpak state-of-the-art resultaten behaalt op de voorgestelde iGround-dataset in vergelijking met een aantal baselines, evenals op de VidSTG- en ActivityNet-Entities-datasets. We voeren uitgebreide ablatie-experimenten uit die het belang aantonen van pre-training met onze automatisch geannoteerde HowToGround1M-dataset, gevolgd door fine-tuning op de handmatig geannoteerde iGround-dataset, en valideren de belangrijkste technische bijdragen van ons model.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.