MM-VID: Vooruitgang in Videobegrip met GPT-4V(isie)
MM-VID: Advancing Video Understanding with GPT-4V(ision)
October 30, 2023
Auteurs: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang
cs.AI
Samenvatting
We presenteren MM-VID, een geïntegreerd systeem dat de mogelijkheden van GPT-4V benut, in combinatie met gespecialiseerde tools voor visie, audio en spraak, om geavanceerd videobegrip te faciliteren. MM-VID is ontworpen om de uitdagingen aan te pakken die worden gesteld door langdurige video's en complexe taken, zoals redeneren binnen inhoud van een uur en het begrijpen van verhaallijnen die meerdere afleveringen omspannen. MM-VID gebruikt een video-naar-scriptgeneratie met GPT-4V om multimodale elementen om te zetten in een lang tekstueel script. Het gegenereerde script beschrijft gedetailleerd karakterbewegingen, acties, uitdrukkingen en dialogen, wat de weg vrijmaakt voor grote taalmodellen (LLM's) om videobegrip te bereiken. Dit maakt geavanceerde mogelijkheden mogelijk, waaronder audiodescriptie, karakteridentificatie en multimodale hoogwaardige begripsvorming. Experimentele resultaten tonen de effectiviteit van MM-VID aan bij het verwerken van verschillende videogenres met uiteenlopende videolengtes. Daarnaast demonstreren we het potentieel ervan wanneer het wordt toegepast in interactieve omgevingen, zoals videogames en grafische gebruikersinterfaces.
English
We present MM-VID, an integrated system that harnesses the capabilities of
GPT-4V, combined with specialized tools in vision, audio, and speech, to
facilitate advanced video understanding. MM-VID is designed to address the
challenges posed by long-form videos and intricate tasks such as reasoning
within hour-long content and grasping storylines spanning multiple episodes.
MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal
elements into a long textual script. The generated script details character
movements, actions, expressions, and dialogues, paving the way for large
language models (LLMs) to achieve video understanding. This enables advanced
capabilities, including audio description, character identification, and
multimodal high-level comprehension. Experimental results demonstrate the
effectiveness of MM-VID in handling distinct video genres with various video
lengths. Additionally, we showcase its potential when applied to interactive
environments, such as video games and graphic user interfaces.