VideoLights: Functie Verfijning en Kruistaakuitlijntransformator voor Gezamenlijke Detectie van Videohoogtepunten en Momentterugvinding

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

December 2, 2024

Auteurs: Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

cs.AI

Samenvatting

Video Highlight Detection en Moment Retrieval (HD/MR) zijn essentieel in videoanalyse. Recente transformermodellen voor gezamenlijke voorspelling verwaarlozen vaak de dynamiek tussen taken en de afstemming en verfijning van video-tekst. Bovendien maken de meeste modellen typisch gebruik van beperkte, eenzijdige aandachtsmechanismen, wat resulteert in zwak geïntegreerde representaties en suboptimale prestaties bij het vastleggen van de onderlinge afhankelijkheid tussen video- en tekstmodaliteiten. Hoewel grote taal- en visie-taalmodellen (LLM/LVLM's) aan populariteit hebben gewonnen in verschillende domeinen, blijft hun toepassing op dit gebied relatief onderbelicht. Hier stellen we VideoLights voor, een nieuw HD/MR-framework dat deze beperkingen aanpakt door (i) Convolutional Projection en Feature Refinement modules met een afstemmingsverlies voor betere afstemming van video-tekstkenmerken, (ii) een Bi-Directional Cross-Modal Fusion-netwerk voor sterk gekoppelde query-bewuste cliprepresentaties, en (iii) een Uni-directioneel gezamenlijk-taak-feedbackmechanisme dat beide taken verbetert door correlatie. Daarnaast introduceren we (iv) harde positieve/negatieve verliezen voor adaptieve foutbestraffing en verbeterd leren, en (v) maken we gebruik van LVLM's zoals BLIP-2 voor verbeterde multimodale kenmerkintegratie en intelligent vooraf trainen met behulp van synthetische gegevens gegenereerd door LVLM's. Uitgebreide experimenten op QVHighlights, TVSum en Charades-STA benchmarks tonen eersteklas prestaties aan. De codes en modellen zijn beschikbaar op https://github.com/dpaul06/VideoLights.

English

Video Highlight Detection and Moment Retrieval (HD/MR) are essential in video analysis. Recent joint prediction transformer models often overlook their cross-task dynamics and video-text alignment and refinement. Moreover, most models typically use limited, uni-directional attention mechanisms, resulting in weakly integrated representations and suboptimal performance in capturing the interdependence between video and text modalities. Although large-language and vision-language models (LLM/LVLMs) have gained prominence across various domains, their application in this field remains relatively underexplored. Here we propose VideoLights, a novel HD/MR framework addressing these limitations through (i) Convolutional Projection and Feature Refinement modules with an alignment loss for better video-text feature alignment, (ii) Bi-Directional Cross-Modal Fusion network for strongly coupled query-aware clip representations, and (iii) Uni-directional joint-task feedback mechanism enhancing both tasks through correlation. In addition, (iv) we introduce hard positive/negative losses for adaptive error penalization and improved learning, and (v) leverage LVLMs like BLIP-2 for enhanced multimodal feature integration and intelligent pretraining using synthetic data generated from LVLMs. Comprehensive experiments on QVHighlights, TVSum, and Charades-STA benchmarks demonstrate state-of-the-art performance. Codes and models are available at https://github.com/dpaul06/VideoLights .