LLaVA-Gemma: コンパクトな言語モデルによるマルチモーダル基盤モデルの高速化

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

著者: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

要旨

我々は、最近リリースされたGemmaファミリーの大規模言語モデル（LLM）を用いて、人気のLLaVAフレームワークでマルチモーダル基盤モデル（MMFM）のスイートをトレーニングしました。特に注目すべきは、2BパラメータのGemmaモデルで、これにより小規模ながら有能なMMFMを構築する機会が得られます。この分野の他の論文の知見に沿って、3つの設計要素を除去した場合の効果をテストしました：コネクタの事前学習、より強力な画像バックボーンの利用、言語バックボーンのサイズ増加です。その結果得られたモデルをLLaVA-Gemmaと呼び、一連の評価において中程度の性能を示しましたが、現在の同規模のSOTAモデルを超える改善は見られませんでした。性能の詳細な分析では、混合された効果が確認されました：事前学習をスキップすると性能が低下する傾向があり、より大きな視覚モデルは時々性能を向上させ、言語モデルのサイズを増やすと一貫しない効果が見られました。我々は、LLaVA-Gemmaモデルのトレーニングレシピ、コード、および重みを公開します。

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.