VideoAgent: Comprensión de videos extensos con un modelo de lenguaje grande como agente

VideoAgent: Long-form Video Understanding with Large Language Model as Agent

March 15, 2024

Autores: Xiaohan Wang, Yuhui Zhang, Orr Zohar, Serena Yeung-Levy

cs.AI

Resumen

La comprensión de videos de larga duración representa un desafío significativo dentro de la visión por computadora, ya que requiere un modelo capaz de razonar sobre secuencias multimodales extensas. Inspirados por el proceso cognitivo humano para la comprensión de videos de larga duración, enfatizamos el razonamiento interactivo y la planificación sobre la capacidad de procesar entradas visuales extensas. Introducimos un sistema novedoso basado en agentes, VideoAgent, que emplea un modelo de lenguaje grande como agente central para identificar y compilar de manera iterativa información crucial para responder a una pregunta, utilizando modelos fundamentales de visión y lenguaje como herramientas para traducir y recuperar información visual. Evaluado en los desafiantes benchmarks EgoSchema y NExT-QA, VideoAgent alcanza un 54.1% y un 71.3% de precisión en zero-shot, utilizando en promedio solo 8.4 y 8.2 frames respectivamente. Estos resultados demuestran la superior efectividad y eficiencia de nuestro método frente a los métodos más avanzados actuales, destacando el potencial de los enfoques basados en agentes para avanzar en la comprensión de videos de larga duración.

English

Long-form video understanding represents a significant challenge within computer vision, demanding a model capable of reasoning over long multi-modal sequences. Motivated by the human cognitive process for long-form video understanding, we emphasize interactive reasoning and planning over the ability to process lengthy visual inputs. We introduce a novel agent-based system, VideoAgent, that employs a large language model as a central agent to iteratively identify and compile crucial information to answer a question, with vision-language foundation models serving as tools to translate and retrieve visual information. Evaluated on the challenging EgoSchema and NExT-QA benchmarks, VideoAgent achieves 54.1% and 71.3% zero-shot accuracy with only 8.4 and 8.2 frames used on average. These results demonstrate superior effectiveness and efficiency of our method over the current state-of-the-art methods, highlighting the potential of agent-based approaches in advancing long-form video understanding.