MM-VID: Fortschritte im Videoverständnis mit GPT-4V(ision)

MM-VID: Advancing Video Understanding with GPT-4V(ision)

October 30, 2023

Autoren: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang

cs.AI

Zusammenfassung

Wir präsentieren MM-VID, ein integriertes System, das die Fähigkeiten von GPT-4V in Kombination mit spezialisierten Tools für Vision, Audio und Sprache nutzt, um fortgeschrittenes Video-Verständnis zu ermöglichen. MM-VID wurde entwickelt, um die Herausforderungen von langen Videos und komplexen Aufgaben wie der Analyse von stundenlangen Inhalten und dem Verständnis von Handlungssträngen über mehrere Episoden hinweg zu bewältigen. MM-VID verwendet eine Video-zu-Skript-Generierung mit GPT-4V, um multimodale Elemente in ein langes textuelles Skript zu transkribieren. Das generierte Skript detailliert Charakterbewegungen, Handlungen, Ausdrücke und Dialoge und ebnet so den Weg für große Sprachmodelle (LLMs), um Video-Verständnis zu erreichen. Dies ermöglicht fortgeschrittene Fähigkeiten, einschließlich Audiobeschreibung, Charakteridentifikation und multimodales High-Level-Verständnis. Experimentelle Ergebnisse demonstrieren die Effektivität von MM-VID bei der Verarbeitung verschiedener Video-Genres mit unterschiedlichen Videolängen. Zudem zeigen wir sein Potenzial in interaktiven Umgebungen wie Videospielen und grafischen Benutzeroberflächen.

English

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.