VideoLights : Raffinement des caractéristiques et Transformateur d'Alignement Inter-tâches pour la Détection Conjointe de Moments Forts dans les Vidéos et la Récupération d'Instant

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

December 2, 2024

Auteurs: Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

cs.AI

Résumé

La détection des moments forts et la récupération des instants (HD/MR) sont essentielles dans l'analyse vidéo. Les récents modèles transformateurs de prédiction conjointe négligent souvent leur dynamique inter-tâches et l'alignement et le raffinement vidéo-texte. De plus, la plupart des modèles utilisent généralement des mécanismes d'attention limités et unidirectionnels, ce qui entraîne des représentations faiblement intégrées et des performances sous-optimales dans la capture de l'interdépendance entre les modalités vidéo et texte. Bien que les modèles de langage large et de vision-langage (LLM/LVLMs) aient gagné en importance dans divers domaines, leur application dans ce domaine reste relativement peu explorée. Nous proposons ici VideoLights, un nouveau cadre HD/MR qui adresse ces limitations à travers (i) des modules de Projection Convolutionnelle et de Raffinement des Caractéristiques avec une perte d'alignement pour un meilleur alignement des caractéristiques vidéo-texte, (ii) un réseau de Fusion Croisée Bi-Directionnelle pour des représentations de clips fortement couplées à la requête, et (iii) un mécanisme de rétroaction inter-tâches unidirectionnel améliorant les deux tâches par la corrélation. De plus, (iv) nous introduisons des pertes positives/négatives difficiles pour une pénalisation des erreurs adaptative et un apprentissage amélioré, et (v) exploitons des LVLMs comme BLIP-2 pour une intégration améliorée des caractéristiques multimodales et un pré-entraînement intelligent en utilisant des données synthétiques générées à partir de LVLMs. Des expériences approfondies sur les référentiels QVHighlights, TVSum et Charades-STA démontrent des performances de pointe. Les codes et les modèles sont disponibles sur https://github.com/dpaul06/VideoLights.

English

Video Highlight Detection and Moment Retrieval (HD/MR) are essential in video analysis. Recent joint prediction transformer models often overlook their cross-task dynamics and video-text alignment and refinement. Moreover, most models typically use limited, uni-directional attention mechanisms, resulting in weakly integrated representations and suboptimal performance in capturing the interdependence between video and text modalities. Although large-language and vision-language models (LLM/LVLMs) have gained prominence across various domains, their application in this field remains relatively underexplored. Here we propose VideoLights, a novel HD/MR framework addressing these limitations through (i) Convolutional Projection and Feature Refinement modules with an alignment loss for better video-text feature alignment, (ii) Bi-Directional Cross-Modal Fusion network for strongly coupled query-aware clip representations, and (iii) Uni-directional joint-task feedback mechanism enhancing both tasks through correlation. In addition, (iv) we introduce hard positive/negative losses for adaptive error penalization and improved learning, and (v) leverage LVLMs like BLIP-2 for enhanced multimodal feature integration and intelligent pretraining using synthetic data generated from LVLMs. Comprehensive experiments on QVHighlights, TVSum, and Charades-STA benchmarks demonstrate state-of-the-art performance. Codes and models are available at https://github.com/dpaul06/VideoLights .