LLaVA-Gemma: Aceleración de Modelos Fundacionales Multimodales con un Modelo de Lenguaje Compacto

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

Autores: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

Resumen

Entrenamos un conjunto de modelos fundamentales multimodales (MMFM, por sus siglas en inglés) utilizando el popular marco LLaVA junto con la recientemente lanzada familia de modelos de lenguaje grandes (LLMs) Gemma. De particular interés es el modelo Gemma de 2B parámetros, que ofrece oportunidades para construir MMFMs de pequeña escala pero capaces. En línea con los hallazgos de otros trabajos en este ámbito, evaluamos el efecto de eliminar tres características de diseño: el preentrenamiento del conector, la utilización de un backbone de imágenes más potente y el aumento del tamaño del backbone de lenguaje. Los modelos resultantes, que denominamos LLaVA-Gemma, muestran un rendimiento moderado en una variedad de evaluaciones, pero no logran superar a los modelos SOTA de tamaño comparable actuales. Un análisis más detallado del rendimiento revela efectos mixtos: omitir el preentrenamiento tiende a reducir el rendimiento, los modelos de visión más grandes a veces mejoran el rendimiento, y aumentar el tamaño del modelo de lenguaje tiene efectos inconsistentes. Publicamos las recetas de entrenamiento, el código y los pesos de nuestros modelos LLaVA-Gemma.

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.