VideoLights: Улучшение признаков и трансформер выравнивания между задачами для совместного обнаружения высветок в видео и извлечения моментов.

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

December 2, 2024

Авторы: Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

cs.AI

Аннотация

Обнаружение выдающихся моментов в видео и извлечение моментов (HD/MR) являются важными в анализе видео. Недавние модели трансформера совместного предсказания часто упускают из виду их динамику между задачами и выравнивание и уточнение видео-текста. Более того, большинство моделей обычно используют ограниченные однонаправленные механизмы внимания, что приводит к слабо интегрированным представлениям и неоптимальной производительности в улавливании взаимозависимости между видео и текстовыми модальностями. Хотя модели с большим языковым и зрительным моделями (LLM/LVLM) стали популярными в различных областях, их применение в этой области остается относительно малоисследованным. Здесь мы предлагаем VideoLights, новую структуру HD/MR, которая решает эти ограничения через (i) модули сверточной проекции и уточнения признаков с потерей выравнивания для лучшего выравнивания признаков видео-текст, (ii) сеть двунаправленного перекрестного слияния модальностей для тесно связанных представлений клипов, осведомленных о запросе, и (iii) механизм обратной связи с однонаправленной совместной задачей, улучшающий обе задачи через корреляцию. Кроме того, (iv) мы вводим жесткие положительные/отрицательные потери для адаптивного наказания за ошибки и улучшенного обучения, и (v) используем LVLM, такие как BLIP-2, для улучшенной мультимодальной интеграции признаков и интеллектуального предварительного обучения с использованием синтетических данных, сгенерированных из LVLM. Обширные эксперименты на бенчмарках QVHighlights, TVSum и Charades-STA демонстрируют передовую производительность. Коды и модели доступны на https://github.com/dpaul06/VideoLights.

English

Video Highlight Detection and Moment Retrieval (HD/MR) are essential in video analysis. Recent joint prediction transformer models often overlook their cross-task dynamics and video-text alignment and refinement. Moreover, most models typically use limited, uni-directional attention mechanisms, resulting in weakly integrated representations and suboptimal performance in capturing the interdependence between video and text modalities. Although large-language and vision-language models (LLM/LVLMs) have gained prominence across various domains, their application in this field remains relatively underexplored. Here we propose VideoLights, a novel HD/MR framework addressing these limitations through (i) Convolutional Projection and Feature Refinement modules with an alignment loss for better video-text feature alignment, (ii) Bi-Directional Cross-Modal Fusion network for strongly coupled query-aware clip representations, and (iii) Uni-directional joint-task feedback mechanism enhancing both tasks through correlation. In addition, (iv) we introduce hard positive/negative losses for adaptive error penalization and improved learning, and (v) leverage LVLMs like BLIP-2 for enhanced multimodal feature integration and intelligent pretraining using synthetic data generated from LVLMs. Comprehensive experiments on QVHighlights, TVSum, and Charades-STA benchmarks demonstrate state-of-the-art performance. Codes and models are available at https://github.com/dpaul06/VideoLights .