LLaVA-Gemma: Ускорение мультимодальных базовых моделей с компактной языковой моделью

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

Авторы: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

Аннотация

Мы обучаем набор мультимодальных базовых моделей (MMFM) с использованием популярной платформы LLaVA с недавно выпущенным семейством крупных языковых моделей Gemma (LLMs). Особый интерес представляет модель Gemma с 2 миллиардами параметров, которая предоставляет возможности для создания способных маломасштабных MMFM. В соответствии с результатами других работ в этой области, мы проверяем эффект абляции трех конструктивных особенностей: предварительное обучение коннектора, использование более мощной образовательной основы и увеличение размера языковой основы. Полученные модели, которые мы называем LLaVA-Gemma, демонстрируют умеренную производительность при ряде оценок, но не улучшаются по сравнению с текущими моделями SOTA с сопоставимым размером. Более детальный анализ производительности показывает разнонаправленные эффекты; пропуск предварительного обучения обычно снижает производительность, увеличение размеров моделей зрения иногда улучшает производительность, а увеличение размера языковой модели имеет неоднозначные эффекты. Мы публично распространяем рецепты обучения, код и веса для наших моделей LLaVA-Gemma.

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.