LLaVA-Gemma: Accelerazione dei Modelli Fondamentali Multimodali con un Modello Linguistico Compatto

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

Autori: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

Abstract

Addestriamo una suite di modelli fondazionali multimodali (MMFM) utilizzando il popolare framework LLaVA con la recente famiglia di modelli linguistici di grandi dimensioni (LLM) Gemma. Di particolare interesse è il modello Gemma da 2B parametri, che offre opportunità per costruire MMFM di piccole dimensioni ma capaci. In linea con i risultati di altri lavori in questo ambito, testiamo l'effetto dell'ablazione di tre caratteristiche progettuali: il pretraining del connettore, l'utilizzo di un backbone visivo più potente e l'aumento delle dimensioni del backbone linguistico. I modelli risultanti, che chiamiamo LLaVA-Gemma, mostrano prestazioni moderate in una serie di valutazioni, ma non riescono a superare gli attuali modelli SOTA di dimensioni comparabili. Un'analisi più approfondita delle prestazioni mostra effetti contrastanti: saltare il pretraining tende a ridurre le prestazioni, modelli visivi più grandi a volte migliorano le prestazioni e l'aumento delle dimensioni del modello linguistico ha effetti incoerenti. Rilasciamo pubblicamente le ricette di addestramento, il codice e i pesi per i nostri modelli LLaVA-Gemma.

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.