TinyLLaVA: Ein Framework für kleinskalige große multimodale Modelle
TinyLLaVA: A Framework of Small-scale Large Multimodal Models
February 22, 2024
Autoren: Baichuan Zhou, Ying Hu, Xi Weng, Junlong Jia, Jie Luo, Xien Liu, Ji Wu, Lei Huang
cs.AI
Zusammenfassung
Wir präsentieren das TinyLLaVA-Framework, das eine einheitliche Perspektive für die Gestaltung und Analyse von kleinen Large Multimodal Models (LMMs) bietet. Wir untersuchen empirisch die Auswirkungen verschiedener Vision-Encoder, Verbindungsmodule, Sprachmodelle, Trainingsdaten und Trainingsmethoden. Unsere umfangreichen Experimente zeigten, dass durch eine höhere Datenqualität in Kombination mit verbesserten Trainingsmethoden kleinere LMMs durchweg vergleichbare Leistungen wie größere LMMs erzielen können. Im Rahmen unseres Frameworks trainieren wir eine Familie von kleinen LMMs. Unser bestes Modell, TinyLLaVA-3.1B, erreicht eine bessere Gesamtleistung im Vergleich zu bestehenden 7B-Modellen wie LLaVA-1.5 und Qwen-VL. Wir hoffen, dass unsere Erkenntnisse als Baselines für zukünftige Forschungen in Bezug auf Datenskalierung, Trainingskonfigurationen und Modellauswahl dienen können. Unsere Modellgewichte und Codes werden öffentlich zugänglich gemacht.
English
We present the TinyLLaVA framework that provides a unified perspective in
designing and analyzing the small-scale Large Multimodal Models (LMMs). We
empirically study the effects of different vision encoders, connection modules,
language models, training data and training recipes. Our extensive experiments
showed that better quality of data combined with better training recipes,
smaller LMMs can consistently achieve on-par performances compared to bigger
LMMs. Under our framework, we train a family of small-scale LMMs. Our best
model, TinyLLaVA-3.1B, achieves better overall performance against existing 7B
models such as LLaVA-1.5 and Qwen-VL. We hope our findings can serve as
baselines for future research in terms of data scaling, training setups and
model selections. Our model weights and codes will be made public.