VideoChat: Comprensión de Video Centrada en el Chat
VideoChat: Chat-Centric Video Understanding
May 10, 2023
Autores: KunChang Li, Yinan He, Yi Wang, Yizhuo Li, Wenhai Wang, Ping Luo, Yali Wang, Limin Wang, Yu Qiao
cs.AI
Resumen
En este estudio, iniciamos una exploración sobre la comprensión de videos mediante la introducción de VideoChat, un sistema de comprensión de videos centrado en chat de extremo a extremo. Este sistema integra modelos fundamentales de video y modelos de lenguaje grande a través de una interfaz neuronal aprendible, destacándose en el razonamiento espacio-temporal, la localización de eventos y la inferencia de relaciones causales. Para ajustar este sistema de manera instructiva, proponemos un conjunto de datos de instrucciones centrado en videos, compuesto por miles de videos emparejados con descripciones detalladas y conversaciones. Este conjunto de datos enfatiza el razonamiento espacio-temporal y las relaciones causales, proporcionando un recurso valioso para entrenar sistemas de comprensión de videos centrados en chat. Experimentos cualitativos preliminares revelan el potencial de nuestro sistema en una amplia gama de aplicaciones de video y establecen un estándar para futuras investigaciones. Accede a nuestro código y datos en https://github.com/OpenGVLab/Ask-Anything.
English
In this study, we initiate an exploration into video understanding by
introducing VideoChat, an end-to-end chat-centric video understanding system.
It integrates video foundation models and large language models via a learnable
neural interface, excelling in spatiotemporal reasoning, event localization,
and causal relationship inference. To instructively tune this system, we
propose a video-centric instruction dataset, composed of thousands of videos
matched with detailed descriptions and conversations. This dataset emphasizes
spatiotemporal reasoning and causal relationships, providing a valuable asset
for training chat-centric video understanding systems. Preliminary qualitative
experiments reveal our system's potential across a broad spectrum of video
applications and set the standard for future research. Access our code and data
at https://github.com/OpenGVLab/Ask-Anything