LLaVA-Gemma: Versnelling van multimodale foundation-modellen met een compact taalmodel

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

Auteurs: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

Samenvatting

We trainen een reeks multimodale foundationmodellen (MMFM) met behulp van het populaire LLaVA-framework en de recent uitgebrachte Gemma-familie van grote taalmmodellen (LLMs). Bijzondere aandacht gaat uit naar het 2B-parameter Gemma-model, dat mogelijkheden biedt om capabele kleinschalige MMFMs te construeren. In lijn met bevindingen uit andere papers in dit domein, testen we het effect van het weglaten van drie ontwerpkenmerken: het vooraf trainen van de connector, het gebruik van een krachtiger beeldbackbone en het vergroten van de omvang van de taalbackbone. De resulterende modellen, die we LLaVA-Gemma noemen, vertonen matige prestaties op een reeks evaluaties, maar slagen er niet in om de huidige vergelijkbaar grote SOTA-modellen te overtreffen. Een gedetailleerde analyse van de prestaties toont gemengde effecten; het overslaan van vooraf trainen leidt meestal tot lagere prestaties, grotere visionmodellen verbeteren soms de prestaties, en het vergroten van de omvang van het taalmodel heeft inconsistente effecten. We maken de trainingsrecepten, code en gewichten van onze LLaVA-Gemma-modellen publiekelijk beschikbaar.

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.