MM-VID: Progressi nella comprensione video con GPT-4V(ision)

MM-VID: Advancing Video Understanding with GPT-4V(ision)

October 30, 2023

Autori: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang

cs.AI

Abstract

Presentiamo MM-VID, un sistema integrato che sfrutta le capacità di GPT-4V, combinato con strumenti specializzati in visione, audio e voce, per facilitare una comprensione avanzata dei video. MM-VID è progettato per affrontare le sfide poste da video di lunga durata e compiti complessi come il ragionamento su contenuti della durata di un'ora e la comprensione di trame che si estendono su più episodi. MM-VID utilizza una generazione da video a script con GPT-4V per trascrivere elementi multimodali in un lungo script testuale. Lo script generato descrive dettagliatamente i movimenti, le azioni, le espressioni e i dialoghi dei personaggi, aprendo la strada ai grandi modelli linguistici (LLM) per raggiungere la comprensione dei video. Ciò consente capacità avanzate, tra cui la descrizione audio, l'identificazione dei personaggi e una comprensione multimodale di alto livello. I risultati sperimentali dimostrano l'efficacia di MM-VID nella gestione di generi video distinti con varie lunghezze di video. Inoltre, ne mostriamo il potenziale quando applicato a ambienti interattivi, come videogiochi e interfacce grafiche utente.

English

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.