VILA^2 : VILA Augmenté VILA

VILA^2: VILA Augmented VILA

July 24, 2024

Auteurs: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

Résumé

Les modèles de langage visuel (VLMs) ont progressé rapidement, portés par le succès des grands modèles de langage (LLMs). Alors que les architectures de modèles et les infrastructures d'entraînement évoluent rapidement, la curation des données reste peu explorée. Lorsque la quantité et la qualité des données deviennent un goulot d'étranglement, les travaux existants soit collectent directement davantage de données brutes sur Internet sans garantie de qualité, soit distillent des modèles commerciaux opaques (par exemple, GPT-4V / Gemini), ce qui limite la performance à celle de ces modèles. Dans ce travail, nous introduisons une approche novatrice qui inclut une étape d'auto-augmentation et une étape d'augmentation par spécialistes pour améliorer itérativement la qualité des données et la performance du modèle. Dans l'étape d'auto-augmentation, un VLM recaptione ses propres données de pré-entraînement pour améliorer leur qualité, puis se réentraîne à partir de zéro en utilisant cet ensemble de données raffiné pour améliorer ses performances. Ce processus peut itérer sur plusieurs cycles. Une fois que l'auto-augmentation atteint un plateau, nous utilisons plusieurs VLMs spécialisés, affinés à partir du VLM auto-augmenté avec des expertises spécifiques à un domaine, pour infuser davantage de connaissances spécialisées dans le VLM généraliste via un recaptionnage et un réentraînement orientés tâches. Avec l'entraînement combiné d'auto-augmentation et d'augmentation par spécialistes, nous introduisons VILA^2 (VILA-augmenté-VILA), une famille de VLMs qui améliore systématiquement la précision sur un large éventail de tâches par rapport à l'état de l'art précédent, et établit de nouveaux records sur le classement MMMU parmi les modèles open-source.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.