TinyLLaVA: 小規模大規模マルチモーダルモデルのフレームワーク
TinyLLaVA: A Framework of Small-scale Large Multimodal Models
February 22, 2024
著者: Baichuan Zhou, Ying Hu, Xi Weng, Junlong Jia, Jie Luo, Xien Liu, Ji Wu, Lei Huang
cs.AI
要旨
我々は、小規模な大規模マルチモーダルモデル(LMMs)の設計と分析において統一的な視点を提供するTinyLLaVAフレームワークを提案します。異なる視覚エンコーダ、接続モジュール、言語モデル、トレーニングデータ、およびトレーニングレシピの効果を実証的に研究しました。我々の広範な実験により、より高品質なデータとより優れたトレーニングレシピを組み合わせることで、小規模なLMMsがより大規模なLMMsと同等の性能を一貫して達成できることが示されました。本フレームワークの下で、我々は一連の小規模LMMsをトレーニングしました。我々の最良のモデルであるTinyLLaVA-3.1Bは、LLaVA-1.5やQwen-VLなどの既存の7Bモデルに対して、より優れた全体的な性能を達成しました。我々の発見が、データスケーリング、トレーニング設定、およびモデル選択に関する将来の研究のベースラインとして役立つことを期待しています。我々のモデルウェイトとコードは公開される予定です。
English
We present the TinyLLaVA framework that provides a unified perspective in
designing and analyzing the small-scale Large Multimodal Models (LMMs). We
empirically study the effects of different vision encoders, connection modules,
language models, training data and training recipes. Our extensive experiments
showed that better quality of data combined with better training recipes,
smaller LMMs can consistently achieve on-par performances compared to bigger
LMMs. Under our framework, we train a family of small-scale LMMs. Our best
model, TinyLLaVA-3.1B, achieves better overall performance against existing 7B
models such as LLaVA-1.5 and Qwen-VL. We hope our findings can serve as
baselines for future research in terms of data scaling, training setups and
model selections. Our model weights and codes will be made public.