VideoLights：特徴の洗練とクロスタスクアラインメントトランスフォーマーによる 共同ビデオハイライト検出とモーメント検索

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

December 2, 2024

著者: Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

cs.AI

要旨

ビデオのハイライト検出とモーメント検索（HD/MR）は、ビデオ解析において重要です。最近の共同予測トランスフォーマーモデルは、しばしばクロスタスクのダイナミクスやビデオテキストの整合性と洗練を見落としています。さらに、ほとんどのモデルは通常、限られた単方向の注意メカニズムを使用しており、ビデオとテキストのモダリティ間の相互依存関係を捉える性能が劣っています。大規模言語モデルおよびビジョン言語モデル（LLM/LVLMs）は、さまざまな領域で注目を集めていますが、この分野での適用は比較的未開拓の領域です。ここでは、これらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案します。これは、（i）ビデオテキストの特徴整合性向上のための畳み込み投影および特徴洗練モジュール、（ii）強く結合されたクエリ重視のクリップ表現のための双方向クロスモーダル融合ネットワーク、および（iii）相関を通じて両方のタスクを向上させる単方向共同タスクフィードバックメカニズムを経由して、これらの制限に対処します。さらに、（iv）適応的なエラー罰則化と学習の向上のためのハードポジティブ/ネガティブ損失を導入し、（v）BLIP-2などのLVLMを活用して、強化された多モーダル特徴の統合とLVLMから生成された合成データを使用したインテリジェントな事前トレーニングを行います。QVHighlights、TVSum、Charades-STAのベンチマークでの包括的な実験により、最先端のパフォーマンスが示されました。コードとモデルはhttps://github.com/dpaul06/VideoLights で入手可能です。

English

Video Highlight Detection and Moment Retrieval (HD/MR) are essential in video analysis. Recent joint prediction transformer models often overlook their cross-task dynamics and video-text alignment and refinement. Moreover, most models typically use limited, uni-directional attention mechanisms, resulting in weakly integrated representations and suboptimal performance in capturing the interdependence between video and text modalities. Although large-language and vision-language models (LLM/LVLMs) have gained prominence across various domains, their application in this field remains relatively underexplored. Here we propose VideoLights, a novel HD/MR framework addressing these limitations through (i) Convolutional Projection and Feature Refinement modules with an alignment loss for better video-text feature alignment, (ii) Bi-Directional Cross-Modal Fusion network for strongly coupled query-aware clip representations, and (iii) Uni-directional joint-task feedback mechanism enhancing both tasks through correlation. In addition, (iv) we introduce hard positive/negative losses for adaptive error penalization and improved learning, and (v) leverage LVLMs like BLIP-2 for enhanced multimodal feature integration and intelligent pretraining using synthetic data generated from LVLMs. Comprehensive experiments on QVHighlights, TVSum, and Charades-STA benchmarks demonstrate state-of-the-art performance. Codes and models are available at https://github.com/dpaul06/VideoLights .