Numerá-lo: Temporal Grounding de Vídeos como Virar Manga

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Autores: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Resumo

Os Modelos de Linguagem em Vídeo de Grande Escala (Vid-LLMs) fizeram avanços notáveis na compreensão de conteúdo de vídeo para diálogos de QA. No entanto, eles enfrentam dificuldades em estender essa compreensão visual para tarefas que exigem localização temporal precisa, conhecidas como Ancoragem Temporal de Vídeo (VTG). Para abordar essa lacuna, introduzimos o Number-Prompt (NumPro), um método inovador que capacita os Vid-LLMs a conectar a compreensão visual com a ancoragem temporal, adicionando identificadores numéricos únicos a cada quadro de vídeo. Tratando um vídeo como uma sequência de imagens de quadros numerados, o NumPro transforma o VTG em um processo intuitivo: folhear painéis de mangá em sequência. Isso permite que os Vid-LLMs "leiam" linhas do tempo de eventos, vinculando com precisão o conteúdo visual às informações temporais correspondentes. Nossos experimentos demonstram que o NumPro melhora significativamente o desempenho do VTG dos principais Vid-LLMs sem custo computacional adicional. Além disso, o ajuste fino em um conjunto de dados aprimorado pelo NumPro define um novo estado-da-arte para o VTG, superando métodos anteriores de melhor desempenho em até 6,9\% em mIoU para recuperação de momentos e 8,5\% em mAP para detecção de destaques. O código estará disponível em https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.