Numerar: Videos de Temporal Grounding como el Flipping Manga

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Autores: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Resumen

Los Modelos de Lenguaje de Video a Gran Escala (Vid-LLMs) han logrado avances notables en la comprensión del contenido de video para el diálogo de preguntas y respuestas. Sin embargo, tienen dificultades para extender esta comprensión visual a tareas que requieren una localización temporal precisa, conocida como Anclaje Temporal de Video (VTG, por sus siglas en inglés). Para abordar esta brecha, presentamos Number-Prompt (NumPro), un método novedoso que capacita a los Vid-LLMs para conectar la comprensión visual con el anclaje temporal mediante la adición de identificadores numéricos únicos a cada fotograma de video. Tratando un video como una secuencia de imágenes de fotogramas numerados, NumPro transforma el VTG en un proceso intuitivo: hojear paneles de manga en secuencia. Esto permite a los Vid-LLMs "leer" líneas de tiempo de eventos, vinculando con precisión el contenido visual con la información temporal correspondiente. Nuestros experimentos demuestran que NumPro mejora significativamente el rendimiento de VTG de los Vid-LLMs de primer nivel sin costo computacional adicional. Además, el ajuste fino en un conjunto de datos mejorado por NumPro establece un nuevo estado del arte para VTG, superando a los métodos anteriores más efectivos hasta en un 6.9\% en mIoU para la recuperación de momentos y un 8.5\% en mAP para la detección de aspectos destacados. El código estará disponible en https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.