VCoder: マルチモーダル大規模言語モデルのための汎用視覚エンコーダ
VCoder: Versatile Vision Encoders for Multimodal Large Language Models
December 21, 2023
著者: Jitesh Jain, Jianwei Yang, Humphrey Shi
cs.AI
要旨
人間は、視覚世界を理解し、それを通じて推論を行うための驚くべき能力である視覚知覚（Visual Perception）を持っています。近年、マルチモーダル大規模言語モデル（MLLM）は、視覚質問応答や画像キャプション生成から視覚推論や画像生成に至るまで、視覚と言語のタスクにおいて印象的な性能を達成しています。しかし、与えられた画像内のエンティティを識別またはカウント（知覚）するように促された場合、既存のMLLMシステムは失敗します。知覚と推論のための正確なMLLMシステムの開発に向けて、我々はマルチモーダルLLMの知覚の目としてVersatile vision enCoders（VCoder）を使用することを提案します。VCoderにセグメンテーションや深度マップなどの知覚モダリティを入力することで、MLLMの知覚能力を向上させます。次に、COCOの画像と既存の視覚知覚モデルの出力を活用して、オブジェクト知覚タスクにおけるMLLMのトレーニングと評価のためのCOCO Segmentation Text（COST）データセットを作成します。第三に、COSTデータセット上でMLLMのオブジェクト知覚能力を評価するための指標を導入します。最後に、VCoderがGPT-4Vを含む既存のマルチモーダルLLMを上回るオブジェクトレベルの知覚スキルを持つことを証明する広範な実験的証拠を提供します。研究を促進するために、データセット、コード、およびモデルをオープンソースとして公開します。コードはhttps://github.com/SHI-Labs/VCoderで公開しています。
English
Humans possess the remarkable skill of Visual Perception, the ability to see
and understand the seen, helping them make sense of the visual world and, in
turn, reason. Multimodal Large Language Models (MLLM) have recently achieved
impressive performance on vision-language tasks ranging from visual
question-answering and image captioning to visual reasoning and image
generation. However, when prompted to identify or count (perceive) the entities
in a given image, existing MLLM systems fail. Working towards developing an
accurate MLLM system for perception and reasoning, we propose using Versatile
vision enCoders (VCoder) as perception eyes for Multimodal LLMs. We feed the
VCoder with perception modalities such as segmentation or depth maps, improving
the MLLM's perception abilities. Secondly, we leverage the images from COCO and
outputs from off-the-shelf vision perception models to create our COCO
Segmentation Text (COST) dataset for training and evaluating MLLMs on the
object perception task. Thirdly, we introduce metrics to assess the object
perception abilities in MLLMs on our COST dataset. Lastly, we provide extensive
experimental evidence proving the VCoder's improved object-level perception
skills over existing Multimodal LLMs, including GPT-4V. We open-source our
dataset, code, and models to promote research. We open-source our code at
https://github.com/SHI-Labs/VCoder