Номер: Временная привязка видео, подобная перелистыванию манги

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Авторы: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Аннотация

Видео Large Language Models (Vid-LLMs) сделали замечательные успехи в понимании видеоконтента для диалогов в форме вопросов и ответов. Однако они испытывают затруднения в расширении этого визуального понимания на задачи, требующие точной временной локализации, известные как Видео Временная Привязка (VTG). Для решения этого пробела мы представляем Number-Prompt (NumPro), новый метод, который позволяет Vid-LLMs соединить визуальное понимание с временной привязкой, добавляя уникальные числовые идентификаторы к каждому кадру видео. Рассматривая видео как последовательность пронумерованных кадров, NumPro превращает VTG в интуитивный процесс: пролистывание манги по порядку. Это позволяет Vid-LLMs "читать" временные линии событий, точно связывая визуальный контент с соответствующей временной информацией. Наши эксперименты показывают, что NumPro значительно повышает производительность VTG у лучших Vid-LLMs без дополнительных вычислительных затрат. Более того, донастройка на улучшенном NumPro наборе данных устанавливает новый уровень качества для VTG, превосходя предыдущие лучшие методы на до 6.9\% в mIoU для извлечения момента и на 8.5\% в mAP для обнаружения ключевых моментов. Код будет доступен по ссылке https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.