MultiModal-GPT: 인간과의 대화를 위한 비전 및 언어 모델
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
저자: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
초록
우리는 인간과의 다회차 대화를 수행할 수 있는 MultiModal-GPT라는 비전 및 언어 모델을 제안합니다. MultiModal-GPT는 인간으로부터 다양한 지시를 따를 수 있으며, 상세한 캡션 생성, 관심 객체의 수 세기, 사용자의 일반적인 질문에 답변하는 등의 작업을 수행할 수 있습니다. MultiModal-GPT는 OpenFlamingo를 기반으로 파라미터 효율적으로 미세 조정되었으며, 언어 모델의 교차 주의(cross-attention) 부분과 자기 주의(self-attention) 부분에 Low-rank Adapter(LoRA)를 추가했습니다. 먼저, 모델이 인간의 지시를 이해하고 따르도록 하기 위해 비전 및 언어 데이터를 활용한 명령 템플릿을 구성하여 다중 모달리티 명령 튜닝을 수행했습니다. 학습 데이터의 품질이 대화 성능에 매우 중요하다는 것을 발견했으며, 짧은 답변을 포함한 소량의 데이터는 모델이 어떤 지시에도 짧게 응답하도록 이끌 수 있습니다. MultiModal-GPT의 인간과의 대화 능력을 더욱 향상시키기 위해, 언어 전용 명령 수행 데이터를 활용하여 MultiModal-GPT를 공동으로 학습시켰습니다. 동일한 명령 템플릿을 사용하여 언어 전용 및 시각-언어 명령을 함께 학습하는 것은 대화 성능을 효과적으로 개선했습니다. 다양한 데모를 통해 MultiModal-GPT가 인간과 지속적으로 대화할 수 있는 능력을 보여줍니다. 코드와 데모는 https://github.com/open-mmlab/Multimodal-GPT에서 확인할 수 있습니다.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT