VILA^2: VILA Uitgebreid VILA

VILA^2: VILA Augmented VILA

July 24, 2024

Auteurs: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

Samenvatting

Visuele taalmodellen (VLMs) hebben een snelle vooruitgang geboekt, aangedreven door het succes van grote taalmodellen (LLMs). Hoewel modelarchitecturen en trainingsinfrastructuren snel evolueren, blijft datacuratie onderbelicht. Wanneer datahoeveelheid en -kwaliteit een knelpunt worden, crawlt bestaand werk ofwel direct meer ruwe data van het internet zonder garantie voor data-kwaliteit, of distilleert het van black-box commerciële modellen (bijv. GPT-4V / Gemini), waardoor de prestaties beperkt blijven door dat model. In dit werk introduceren we een nieuwe aanpak die een zelf-augmentatiestap en een specialist-augmentatiestap omvat om iteratief de data-kwaliteit en modelprestaties te verbeteren. In de zelf-augmentatiestap herbeschrijft een VLM zijn eigen pretrainingsdata om de data-kwaliteit te verbeteren, en traint het vervolgens opnieuw vanaf nul met deze verfijnde dataset om de modelprestaties te verhogen. Dit proces kan meerdere rondes itereren. Zodra zelf-augmentatie verzadigt, zetten we verschillende specialist-VLMs in, die zijn gefinetuned vanuit de zelf-augmenterende VLM met domeinspecifieke expertise, om specialistische kennis verder in te brengen in de generalistische VLM via taakgerichte herbeschrijving en hertraining. Met de gecombineerde zelf-augmenterende en specialist-augmenterende training introduceren we VILA^2 (VILA-augmented-VILA), een VLM-familie die consistent de nauwkeurigheid verbetert op een breed scala aan taken ten opzichte van eerdere methoden, en nieuwe state-of-the-art resultaten behaalt op de MMMU-leaderboard onder open-source modellen.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.