Video-ChatGPT: 大規模視覚と言語モデルによる詳細なビデオ理解に向けて
Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
June 8, 2023
著者: Muhammad Maaz, Hanoona Rasheed, Salman Khan, Fahad Shahbaz Khan
cs.AI
要旨
大規模言語モデル（LLMs）を基盤とした会話エージェントは、視覚データとの新しいインタラクション方法を提供しています。これまでに画像ベースの会話モデルの初期試みはありましたが、本研究では、ビデオベースの会話という未開拓の領域に取り組むため、Video-ChatGPTを導入します。これは、ビデオ適応型の視覚エンコーダとLLMを統合したマルチモーダルモデルです。このモデルは、ビデオに関する人間らしい会話を理解し、生成することが可能です。私たちは、手動および半自動化パイプラインを通じて取得された10万のビデオ-指示ペアからなる新しいデータセットを紹介します。このパイプラインは拡張性が高く、ラベルノイズに対して頑健です。また、ビデオベースの対話モデルの強みと弱みを客観的に分析するための定量的評価フレームワークを開発しました。私たちのコード、モデル、指示セット、デモはhttps://github.com/mbzuai-oryx/Video-ChatGPTで公開されています。
English
Conversation agents fueled by Large Language Models (LLMs) are providing a
new way to interact with visual data. While there have been initial attempts
for image-based conversation models, this work addresses the underexplored
field of video-based conversation by introducing Video-ChatGPT. It is a
multimodal model that merges a video-adapted visual encoder with a LLM. The
model is capable of understanding and generating human-like conversations about
videos. We introduce a new dataset of 100,000 video-instruction pairs used to
train Video-ChatGPT acquired via manual and semi-automated pipeline that is
easily scalable and robust to label noise. We also develop a quantiative
evaluation framework for video-based dialogue models to objectively analyse the
strengths and weaknesses of proposed models. Our code, models, instruction-sets
and demo are released at https://github.com/mbzuai-oryx/Video-ChatGPT.