TinyLLaVA: Een raamwerk voor kleinschalige grote multimodale modellen

Samenvatting

We presenteren het TinyLLaVA-framework, dat een uniform perspectief biedt voor het ontwerpen en analyseren van kleinschalige Large Multimodal Models (LMMs). We bestuderen empirisch de effecten van verschillende vision-encoders, verbindingsmodules, taalmodelen, trainingsdata en trainingsrecepten. Onze uitgebreide experimenten toonden aan dat een betere kwaliteit van data, gecombineerd met betere trainingsrecepten, ervoor zorgt dat kleinere LMMs consistent vergelijkbare prestaties kunnen behalen in vergelijking met grotere LMMs. Binnen ons framework trainen we een familie van kleinschalige LMMs. Ons beste model, TinyLLaVA-3.1B, behaalt een betere algehele prestatie in vergelijking met bestaande 7B-modellen zoals LLaVA-1.5 en Qwen-VL. We hopen dat onze bevindingen kunnen dienen als basislijnen voor toekomstig onderzoek op het gebied van datascaling, trainingsopstellingen en modelselectie. Onze modelgewichten en code zullen openbaar worden gemaakt.

English

We present the TinyLLaVA framework that provides a unified perspective in designing and analyzing the small-scale Large Multimodal Models (LMMs). We empirically study the effects of different vision encoders, connection modules, language models, training data and training recipes. Our extensive experiments showed that better quality of data combined with better training recipes, smaller LMMs can consistently achieve on-par performances compared to bigger LMMs. Under our framework, we train a family of small-scale LMMs. Our best model, TinyLLaVA-3.1B, achieves better overall performance against existing 7B models such as LLaVA-1.5 and Qwen-VL. We hope our findings can serve as baselines for future research in terms of data scaling, training setups and model selections. Our model weights and codes will be made public.

TinyLLaVA: Een raamwerk voor kleinschalige grote multimodale modellen

TinyLLaVA: A Framework of Small-scale Large Multimodal Models

Samenvatting

Support