LLaVA-Gemma : Accélération des modèles de fondation multimodaux avec un modèle de langage compact

LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

March 29, 2024

Auteurs: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

cs.AI

Résumé

Nous entraînons une série de modèles fondateurs multimodaux (MMFM) en utilisant le cadre populaire LLaVA avec la famille récemment publiée de grands modèles de langage (LLM) Gemma. Le modèle Gemma de 2 milliards de paramètres est particulièrement intéressant, car il offre des opportunités pour construire des MMFM à petite échelle performants. Conformément aux conclusions d'autres travaux dans ce domaine, nous testons l'effet de la suppression de trois caractéristiques de conception : le pré-entraînement du connecteur, l'utilisation d'un backbone d'image plus puissant et l'augmentation de la taille du backbone de langage. Les modèles résultants, que nous appelons LLaVA-Gemma, montrent des performances modérées sur une série d'évaluations, mais ne parviennent pas à dépasser les modèles SOTA de taille comparable actuels. Une analyse plus approfondie des performances révèle des effets mitigés : sauter le pré-entraînement tend à réduire les performances, les modèles de vision plus grands améliorent parfois les performances, et l'augmentation de la taille du modèle de langage a des effets incohérents. Nous rendons publics les recettes d'entraînement, le code et les poids de nos modèles LLaVA-Gemma.

English

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.