MiniGPT4-Video: インターリーブされた視覚-テキストトークンによるビデオ理解のためのマルチモーダルLLMの進化

MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens

April 4, 2024

著者: Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Deyao Zhu, Jian Ding, Mohamed Elhoseiny

cs.AI

要旨

本論文では、ビデオ理解に特化したマルチモーダル大規模言語モデル（LLM）であるMiniGPT4-Videoを紹介する。このモデルは、時間的な視覚データとテキストデータの両方を処理することができ、ビデオの複雑さを理解するのに優れている。単一画像の視覚的特徴をLLM空間に変換し、様々な画像-テキストベンチマークで印象的な結果を達成したMiniGPT-v2の成功を基に、本論文ではモデルの能力をフレームシーケンスの処理に拡張し、ビデオを理解できるようにした。MiniGPT4-Videoは視覚的な内容だけでなく、テキスト会話も組み込むことで、視覚とテキストの両方の要素を含むクエリに効果的に答えることができる。提案されたモデルは、既存の最先端の手法を上回り、MSVD、MSRVTT、TGIF、TVQAベンチマークでそれぞれ4.22%、1.13%、20.82%、13.1%の向上を記録した。私たちのモデルとコードは、https://vision-cair.github.io/MiniGPT4-video/ で公開されている。

English

This paper introduces MiniGPT4-Video, a multimodal Large Language Model (LLM) designed specifically for video understanding. The model is capable of processing both temporal visual and textual data, making it adept at understanding the complexities of videos. Building upon the success of MiniGPT-v2, which excelled in translating visual features into the LLM space for single images and achieved impressive results on various image-text benchmarks, this paper extends the model's capabilities to process a sequence of frames, enabling it to comprehend videos. MiniGPT4-video does not only consider visual content but also incorporates textual conversations, allowing the model to effectively answer queries involving both visual and text components. The proposed model outperforms existing state-of-the-art methods, registering gains of 4.22%, 1.13%, 20.82%, and 13.1% on the MSVD, MSRVTT, TGIF, and TVQA benchmarks respectively. Our models and code have been made publicly available here https://vision-cair.github.io/MiniGPT4-video/