MM-VID: GPT-4V(ision)による映像理解の進展

MM-VID: Advancing Video Understanding with GPT-4V(ision)

October 30, 2023

著者: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang

cs.AI

要旨

我々は、GPT-4Vの能力を活用し、視覚、音声、音響の専門ツールと組み合わせた統合システム「MM-VID」を提案する。MM-VIDは、長時間の動画や複雑なタスク（例えば、1時間にわたるコンテンツ内での推論や複数エピソードにまたがるストーリーラインの理解）に対応するために設計されている。MM-VIDは、GPT-4Vを用いたビデオからスクリプト生成を行い、マルチモーダル要素を長文のテキストスクリプトに変換する。生成されたスクリプトは、キャラクターの動き、行動、表情、対話を詳細に記述し、大規模言語モデル（LLMs）による動画理解の基盤を提供する。これにより、音声解説、キャラクター識別、マルチモーダルな高レベル理解といった高度な機能が可能となる。実験結果は、MM-VIDが様々な長さの動画ジャンルを効果的に処理できることを示している。さらに、ビデオゲームやグラフィカルユーザーインターフェースなどのインタラクティブ環境への応用可能性も示す。

English

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.