시각적 지시 튜닝을 통한 개선된 베이스라인

초록

대규모 멀티모달 모델(LMM)은 최근 시각적 명령어 튜닝을 통해 고무적인 진전을 보여주고 있습니다. 본 노트에서는 LLaVA의 완전 연결된 시각-언어 크로스모달 커넥터가 놀라울 정도로 강력하고 데이터 효율적임을 보여줍니다. LLaVA에 간단한 수정을 가함으로써, 즉 MLP 프로젝션을 사용한 CLIP-ViT-L-336px와 학문적 과제 지향적 VQA 데이터를 간단한 응답 형식 프롬프트와 함께 추가함으로써, 11개의 벤치마크에서 최첨단 성능을 달성하는 더 강력한 베이스라인을 확립했습니다. 우리의 최종 13B 체크포인트는 단 120만 개의 공개 데이터만을 사용하며, 단일 8-A100 노드에서 약 1일 만에 전체 학습을 완료합니다. 이를 통해 최첨단 LMM 연구가 더욱 접근 가능해지길 바랍니다. 코드와 모델은 공개될 예정입니다.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.

시각적 지시 튜닝을 통한 개선된 베이스라인

Improved Baselines with Visual Instruction Tuning

초록

Support