Baseline Migliorati con Ottimizzazione Visiva delle Istruzioni

Improved Baselines with Visual Instruction Tuning

October 5, 2023

Autori: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

cs.AI

Abstract

I grandi modelli multimodali (LMM) hanno recentemente mostrato progressi incoraggianti con il tuning delle istruzioni visive. In questa nota, dimostriamo che il connettore cross-modale visione-linguaggio completamente connesso in LLaVA è sorprendentemente potente ed efficiente in termini di dati. Con semplici modifiche a LLaVA, ovvero utilizzando CLIP-ViT-L-336px con una proiezione MLP e aggiungendo dati VQA orientati a compiti accademici con prompt di formattazione delle risposte semplici, stabiliamo baseline più robuste che raggiungono lo stato dell'arte su 11 benchmark. Il nostro checkpoint finale da 13B utilizza appena 1,2 milioni di dati pubblicamente disponibili e completa l'addestramento completo in circa 1 giorno su un singolo nodo con 8 GPU A100. Speriamo che questo possa rendere la ricerca all'avanguardia sui LMM più accessibile. Codice e modello saranno resi pubblicamente disponibili.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.