Pré-entraînement à grande échelle pour la génération de descriptions vidéo ancrées

Large-scale Pre-training for Grounded Video Caption Generation

March 13, 2025

Auteurs: Evangelos Kazakos, Cordelia Schmid, Josef Sivic

cs.AI

Résumé

Nous proposons une nouvelle approche pour la génération de légendes et l'ancrage d'objets dans les vidéos, où les objets mentionnés dans les légendes sont ancrés dans la vidéo via des boîtes englobantes temporellement denses. Nous introduisons les contributions suivantes. Premièrement, nous présentons une méthode d'annotation automatique à grande échelle qui agrège des légendes ancrées avec des boîtes englobantes sur des images individuelles en annotations de boîtes englobantes temporellement denses et cohérentes. Nous appliquons cette approche sur le dataset HowTo100M pour construire un dataset de pré-entraînement à grande échelle, nommé HowToGround1M. Nous introduisons également un modèle de génération de légendes vidéo ancrées, appelé GROVE, et pré-entraînons ce modèle sur HowToGround1M. Deuxièmement, nous introduisons un nouveau dataset, appelé iGround, composé de 3500 vidéos avec des légences annotées manuellement et des boîtes englobantes ancrées spatio-temporellement de manière dense. Cela nous permet de mesurer les progrès sur ce problème complexe, ainsi que de fine-tuner notre modèle sur ces données de petite échelle mais de haute qualité. Troisièmement, nous démontrons que notre approche atteint des résultats de pointe sur le dataset iGround proposé par rapport à plusieurs modèles de référence, ainsi que sur les datasets VidSTG et ActivityNet-Entities. Nous effectuons des ablations approfondies qui démontrent l'importance du pré-entraînement utilisant notre dataset HowToGround1M annoté automatiquement, suivi d'un fine-tuning sur le dataset iGround annoté manuellement, et validons les contributions techniques clés de notre modèle.

English

We propose a novel approach for captioning and object grounding in video, where the objects in the caption are grounded in the video via temporally dense bounding boxes. We introduce the following contributions. First, we present a large-scale automatic annotation method that aggregates captions grounded with bounding boxes across individual frames into temporally dense and consistent bounding box annotations. We apply this approach on the HowTo100M dataset to construct a large-scale pre-training dataset, named HowToGround1M. We also introduce a Grounded Video Caption Generation model, dubbed GROVE, and pre-train the model on HowToGround1M. Second, we introduce a new dataset, called iGround, of 3500 videos with manually annotated captions and dense spatio-temporally grounded bounding boxes. This allows us to measure progress on this challenging problem, as well as to fine-tune our model on this small-scale but high-quality data. Third, we demonstrate that our approach achieves state-of-the-art results on the proposed iGround dataset compared to a number of baselines, as well as on the VidSTG and ActivityNet-Entities datasets. We perform extensive ablations that demonstrate the importance of pre-training using our automatically annotated HowToGround1M dataset followed by fine-tuning on the manually annotated iGround dataset and validate the key technical contributions of our model.