Koala: Modelo de lenguaje de video largo condicionado por fotogramas clave

Koala: Key frame-conditioned long video-LLM

April 5, 2024

Autores: Reuben Tan, Ximeng Sun, Ping Hu, Jui-hsien Wang, Hanieh Deilamsalehy, Bryan A. Plummer, Bryan Russell, Kate Saenko

cs.AI

Resumen

La respuesta a preguntas en videos largos es una tarea desafiante que implica reconocer actividades a corto plazo y razonar sobre sus relaciones detalladas. Los modelos de lenguaje de gran escala para video (vLLMs) de última generación se presentan como una solución prometedora debido a sus capacidades emergentes demostradas en nuevas tareas. Sin embargo, a pesar de haber sido entrenados en millones de videos cortos de segundos de duración, los vLLMs no pueden comprender videos de varios minutos ni responder con precisión preguntas sobre ellos. Para abordar esta limitación, proponemos un enfoque ligero y autosupervisado, Key frame-conditioned long video-LLM (Koala), que introduce consultas espacio-temporales aprendibles para adaptar vLLMs preentrenados y generalizar a videos más largos. Nuestro enfoque incorpora dos nuevos tokenizadores que se condicionan en tokens visuales calculados a partir de fotogramas clave dispersos del video para comprender momentos tanto cortos como largos. Entrenamos nuestra propuesta en HowTo100M y demostramos su efectividad en benchmarks de comprensión de videos largos en modo zero-shot, donde supera a los modelos grandes de última generación en un 3-6% de precisión absoluta en todas las tareas. Sorprendentemente, también mostramos empíricamente que nuestro enfoque no solo ayuda a un vLLM preentrenado a comprender videos largos, sino que también mejora su precisión en el reconocimiento de acciones a corto plazo.

English

Long video question answering is a challenging task that involves recognizing short-term activities and reasoning about their fine-grained relationships. State-of-the-art video Large Language Models (vLLMs) hold promise as a viable solution due to their demonstrated emergent capabilities on new tasks. However, despite being trained on millions of short seconds-long videos, vLLMs are unable to understand minutes-long videos and accurately answer questions about them. To address this limitation, we propose a lightweight and self-supervised approach, Key frame-conditioned long video-LLM (Koala), that introduces learnable spatiotemporal queries to adapt pretrained vLLMs for generalizing to longer videos. Our approach introduces two new tokenizers that condition on visual tokens computed from sparse video key frames for understanding short and long video moments. We train our proposed approach on HowTo100M and demonstrate its effectiveness on zero-shot long video understanding benchmarks, where it outperforms state-of-the-art large models by 3 - 6% in absolute accuracy across all tasks. Surprisingly, we also empirically show that our approach not only helps a pretrained vLLM to understand long videos but also improves its accuracy on short-term action recognition.