Mejores Líneas de Base con Ajuste Visual por Instrucción

Improved Baselines with Visual Instruction Tuning

October 5, 2023

Autores: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

cs.AI

Resumen

Los modelos multimodales grandes (LMM, por sus siglas en inglés) han mostrado recientemente avances alentadores con el ajuste mediante instrucciones visuales. En esta nota, demostramos que el conector multimodal visión-lenguaje completamente conectado en LLaVA es sorprendentemente potente y eficiente en términos de datos. Con modificaciones simples a LLaVA, específicamente, utilizando CLIP-ViT-L-336px con una proyección MLP y añadiendo datos de VQA orientados a tareas académicas con indicaciones de formato de respuesta simples, establecemos líneas base más sólidas que alcanzan el estado del arte en 11 benchmarks. Nuestro checkpoint final de 13B utiliza apenas 1.2M de datos disponibles públicamente y completa el entrenamiento completo en ~1 día en un solo nodo con 8 GPUs A100. Esperamos que esto pueda hacer que la investigación de vanguardia en LMM sea más accesible. El código y el modelo estarán disponibles públicamente.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.