VideoLights: Merkmalsverfeinerung und Cross-Task-Ausrichtungs-Transformer für die gemeinsame Erkennung von Video-Highlights und Moment-Retrieval

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

December 2, 2024

Autoren: Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

cs.AI

Zusammenfassung

Die Erkennung von Video-Highlights und das Abrufen von Momenten (HD/MR) sind wesentlich für die Videoanalyse. Aktuelle gemeinsame Vorhersage-Transformer-Modelle vernachlässigen oft ihre kreuzaufgabenbezogene Dynamik sowie die Video-Text-Ausrichtung und -Verfeinerung. Darüber hinaus verwenden die meisten Modelle typischerweise begrenzte, unidirektionale Aufmerksamkeitsmechanismen, was zu schwach integrierten Repräsentationen und suboptimaler Leistung bei der Erfassung der Wechselwirkung zwischen Video- und Textmodalitäten führt. Obwohl große Sprach- und Bildsprachmodelle (LLM/LVLMs) in verschiedenen Bereichen an Bedeutung gewonnen haben, bleibt ihre Anwendung in diesem Bereich relativ unerforscht. Hier schlagen wir VideoLights vor, ein neuartiges HD/MR-Framework, das diese Einschränkungen durch (i) Konvolutionale Projektions- und Merkmalverfeinerungsmodule mit einem Ausrichtungsverlust für eine bessere Video-Text-Merkmalabstimmung, (ii) ein bidirektionales Cross-Modal-Fusionsnetzwerk für stark gekoppelte abfragebewusste Clip-Repräsentationen und (iii) einen unidirektionalen gemeinsamen Aufgabenrückkopplungsmechanismus zur Verbesserung beider Aufgaben durch Korrelation, angeht. Darüber hinaus (iv) führen wir harte positive/negative Verluste für adaptive Fehlerstrafung und verbessertes Lernen ein und (v) nutzen LVLMs wie BLIP-2 für eine verbesserte multimodale Merkmalsintegration und intelligentes Vortraining unter Verwendung von synthetischen Daten, die von LVLMs generiert wurden. Umfassende Experimente an den Benchmarks QVHighlights, TVSum und Charades-STA zeigen eine erstklassige Leistung. Codes und Modelle sind verfügbar unter https://github.com/dpaul06/VideoLights.

English

Video Highlight Detection and Moment Retrieval (HD/MR) are essential in video analysis. Recent joint prediction transformer models often overlook their cross-task dynamics and video-text alignment and refinement. Moreover, most models typically use limited, uni-directional attention mechanisms, resulting in weakly integrated representations and suboptimal performance in capturing the interdependence between video and text modalities. Although large-language and vision-language models (LLM/LVLMs) have gained prominence across various domains, their application in this field remains relatively underexplored. Here we propose VideoLights, a novel HD/MR framework addressing these limitations through (i) Convolutional Projection and Feature Refinement modules with an alignment loss for better video-text feature alignment, (ii) Bi-Directional Cross-Modal Fusion network for strongly coupled query-aware clip representations, and (iii) Uni-directional joint-task feedback mechanism enhancing both tasks through correlation. In addition, (iv) we introduce hard positive/negative losses for adaptive error penalization and improved learning, and (v) leverage LVLMs like BLIP-2 for enhanced multimodal feature integration and intelligent pretraining using synthetic data generated from LVLMs. Comprehensive experiments on QVHighlights, TVSum, and Charades-STA benchmarks demonstrate state-of-the-art performance. Codes and models are available at https://github.com/dpaul06/VideoLights .