MM-VID: Avanzando en la comprensión de vídeo con GPT-4V(isión)

MM-VID: Advancing Video Understanding with GPT-4V(ision)

October 30, 2023

Autores: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang

cs.AI

Resumen

Presentamos MM-VID, un sistema integrado que aprovecha las capacidades de GPT-4V, combinadas con herramientas especializadas en visión, audio y voz, para facilitar la comprensión avanzada de videos. MM-VID está diseñado para abordar los desafíos planteados por videos de larga duración y tareas complejas, como el razonamiento dentro de contenido de una hora de duración y la comprensión de tramas que abarcan múltiples episodios. MM-VID utiliza una generación de guiones a partir de videos con GPT-4V para transcribir elementos multimodales en un guión textual extenso. El guión generado detalla movimientos, acciones, expresiones y diálogos de los personajes, allanando el camino para que los modelos de lenguaje de gran escala (LLMs) logren la comprensión de videos. Esto permite capacidades avanzadas, incluyendo descripción de audio, identificación de personajes y comprensión multimodal de alto nivel. Los resultados experimentales demuestran la efectividad de MM-VID al manejar distintos géneros de videos con diversas duraciones. Además, mostramos su potencial cuando se aplica en entornos interactivos, como videojuegos e interfaces gráficas de usuario.

English

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.