VideoRefer Suite: Avanzando en la comprensión de objetos espacio-temporales con Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Autores: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Resumen

Los Modelos de Lenguaje en Video a Gran Escala (Video LLMs) han mostrado recientemente capacidades notables en la comprensión general de videos. Sin embargo, se centran principalmente en la comprensión holística y tienen dificultades para capturar detalles espaciales y temporales detallados. Además, la falta de datos de instrucción de video a nivel de objeto de alta calidad y de un banco de pruebas integral dificulta aún más sus avances. Para abordar estos desafíos, presentamos el VideoRefer Suite para potenciar a los Video LLM para una comprensión de video espacial-temporal a un nivel más fino, es decir, permitiendo la percepción y el razonamiento sobre cualquier objeto a lo largo del video. Específicamente, desarrollamos exhaustivamente VideoRefer Suite en tres aspectos esenciales: conjunto de datos, modelo y banco de pruebas. En primer lugar, introducimos un motor de datos multiagente para seleccionar meticulosamente un conjunto de datos de instrucción de video a nivel de objeto a gran escala y de alta calidad, denominado VideoRefer-700K. A continuación, presentamos el modelo VideoRefer, que equipa a un versátil codificador de objetos espaciales-temporales para capturar representaciones regionales y secuenciales precisas. Finalmente, creamos meticulosamente un VideoRefer-Bench para evaluar de manera integral la capacidad de comprensión espacial-temporal de un Video LLM, evaluándolo en varios aspectos. Experimentos y análisis extensos demuestran que nuestro modelo VideoRefer no solo logra un rendimiento prometedor en bancos de pruebas de referencia de video, sino que también facilita capacidades generales de comprensión de video.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.