Verbeterde Baselines met Visuele Instructieafstemming

Improved Baselines with Visual Instruction Tuning

October 5, 2023

Auteurs: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

cs.AI

Samenvatting

Grote multimodale modellen (LMM) hebben recentelijk bemoedigende vooruitgang geboekt met visuele instructieafstemming. In deze notitie tonen we aan dat de volledig verbonden visie-taal cross-modale connector in LLaVA verrassend krachtig en data-efficiënt is. Met eenvoudige aanpassingen aan LLaVA, namelijk het gebruik van CLIP-ViT-L-336px met een MLP-projectie en het toevoegen van academische-taakgerichte VQA-gegevens met eenvoudige antwoordformatteringprompts, stellen we sterkere basislijnen vast die state-of-the-art prestaties behalen op 11 benchmarks. Onze laatste 13B checkpoint gebruikt slechts 1,2M openbaar beschikbare gegevens en voltooit de volledige training in ongeveer 1 dag op een enkele 8-A100 node. We hopen dat dit state-of-the-art LMM-onderzoek toegankelijker kan maken. Code en model zullen openbaar beschikbaar worden gesteld.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.