Amélioration des références par ajustement visuel des instructions

Improved Baselines with Visual Instruction Tuning

October 5, 2023

Auteurs: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

cs.AI

Résumé

Les modèles multimodaux de grande taille (LMM) ont récemment démontré des progrès encourageants grâce au réglage par instructions visuelles. Dans cette note, nous montrons que le connecteur intermodal vision-langage entièrement connecté dans LLaVA est étonnamment puissant et efficace en termes de données. Avec des modifications simples apportées à LLaVA, à savoir l'utilisation de CLIP-ViT-L-336px avec une projection MLP et l'ajout de données VQA orientées vers des tâches académiques avec des invites de formatage de réponse simples, nous établissons des références plus solides qui atteignent l'état de l'art sur 11 benchmarks. Notre point de contrôle final de 13B utilise seulement 1,2 million de données publiquement disponibles et termine l'entraînement complet en ~1 jour sur un seul nœud 8-A100. Nous espérons que cela pourra rendre la recherche de pointe sur les LMM plus accessible. Le code et le modèle seront rendus publics.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.