VILA^2：VILA拡張版VILA

VILA^2: VILA Augmented VILA

July 24, 2024

著者: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

要旨

視覚言語モデル（VLM）は、大規模言語モデル（LLM）の成功に後押しされ、急速に進化を遂げています。モデルアーキテクチャやトレーニングインフラが急速に進歩する一方で、データのキュレーションはまだ十分に探求されていません。データの量と質がボトルネックとなる場合、既存の研究では、データ品質の保証がないインターネットからの生データを直接クロールするか、ブラックボックスの商用モデル（例：GPT-4V / Gemini）から蒸留する方法が取られており、そのモデルの性能上限に制約されています。本研究では、データ品質とモデル性能を反復的に向上させるために、自己拡張ステップと専門家拡張ステップを含む新しいアプローチを提案します。自己拡張ステップでは、VLMが自身の事前学習データを再キャプションしてデータ品質を向上させ、その後、この精緻化されたデータセットを使用してモデルをゼロから再トレーニングし、性能を向上させます。このプロセスは複数回繰り返すことができます。自己拡張が飽和した後、自己拡張されたVLMからドメイン固有の専門知識を持つ複数の専門家VLMをファインチューニングし、タスク指向の再キャプションと再トレーニングを通じて、汎用VLMに専門家の知識をさらに注入します。自己拡張と専門家拡張を組み合わせたトレーニングにより、VILA^2（VILA-augmented-VILA）というVLMファミリーを導入し、幅広いタスクにおいて従来の技術を上回る精度を一貫して向上させ、オープンソースモデルの中でMMMUリーダーボードで新たな最先端の結果を達成しました。

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.