TinyLLaVA: Um Framework de Modelos Multimodais de Grande Escala em Pequena Dimensão

TinyLLaVA: A Framework of Small-scale Large Multimodal Models

February 22, 2024

Autores: Baichuan Zhou, Ying Hu, Xi Weng, Junlong Jia, Jie Luo, Xien Liu, Ji Wu, Lei Huang

cs.AI

Resumo

Apresentamos o framework TinyLLaVA, que oferece uma perspectiva unificada no projeto e análise de Modelos Multimodais de Grande Escala (LMMs) em pequena escala. Estudamos empiricamente os efeitos de diferentes codificadores visuais, módulos de conexão, modelos de linguagem, dados de treinamento e receitas de treinamento. Nossos extensos experimentos mostraram que, com dados de melhor qualidade combinados com receitas de treinamento aprimoradas, LMMs menores podem consistentemente alcançar desempenhos equivalentes em comparação com LMMs maiores. Sob nosso framework, treinamos uma família de LMMs em pequena escala. Nosso melhor modelo, o TinyLLaVA-3.1B, alcança um desempenho geral superior em comparação com modelos 7B existentes, como o LLaVA-1.5 e o Qwen-VL. Esperamos que nossas descobertas possam servir como referências para pesquisas futuras em termos de escalonamento de dados, configurações de treinamento e seleção de modelos. Os pesos e códigos de nosso modelo serão disponibilizados publicamente.

English

We present the TinyLLaVA framework that provides a unified perspective in designing and analyzing the small-scale Large Multimodal Models (LMMs). We empirically study the effects of different vision encoders, connection modules, language models, training data and training recipes. Our extensive experiments showed that better quality of data combined with better training recipes, smaller LMMs can consistently achieve on-par performances compared to bigger LMMs. Under our framework, we train a family of small-scale LMMs. Our best model, TinyLLaVA-3.1B, achieves better overall performance against existing 7B models such as LLaVA-1.5 and Qwen-VL. We hope our findings can serve as baselines for future research in terms of data scaling, training setups and model selections. Our model weights and codes will be made public.