Linhas de Base Aprimoradas com Ajuste Fino de Instrução Visual
Improved Baselines with Visual Instruction Tuning
October 5, 2023
Autores: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee
cs.AI
Resumo
Modelos multimodais de grande escala (LMM) têm mostrado recentemente progressos encorajadores com ajuste fino por instrução visual. Neste artigo, demonstramos que o conector multimodal totalmente conectado entre visão e linguagem no LLaVA é surpreendentemente poderoso e eficiente em termos de dados. Com modificações simples no LLaVA, nomeadamente, utilizando CLIP-ViT-L-336px com uma projeção MLP e adicionando dados de VQA orientados para tarefas acadêmicas com prompts simples de formatação de respostas, estabelecemos linhas de base mais robustas que alcançam o estado da arte em 11 benchmarks. Nosso checkpoint final de 13B utiliza apenas 1,2M de dados publicamente disponíveis e conclui o treinamento completo em aproximadamente 1 dia em um único nó com 8 GPUs A100. Esperamos que isso possa tornar a pesquisa de ponta em LMM mais acessível. O código e o modelo estarão publicamente disponíveis.
English
Large multimodal models (LMM) have recently shown encouraging progress with
visual instruction tuning. In this note, we show that the fully-connected
vision-language cross-modal connector in LLaVA is surprisingly powerful and
data-efficient. With simple modifications to LLaVA, namely, using
CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA
data with simple response formatting prompts, we establish stronger baselines
that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint
uses merely 1.2M publicly available data, and finishes full training in ~1 day
on a single 8-A100 node. We hope this can make state-of-the-art LMM research
more accessible. Code and model will be publicly available.