VILA^2: VILA Aumentada VILA

VILA^2: VILA Augmented VILA

July 24, 2024

Autores: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

Resumo

Os modelos de linguagem visual (VLMs) progrediram rapidamente, impulsionados pelo sucesso dos grandes modelos de linguagem (LLMs). Enquanto as arquiteturas de modelos e infraestruturas de treinamento avançam rapidamente, a curadoria de dados permanece pouco explorada. Quando a quantidade e a qualidade dos dados se tornam um gargalo, trabalhos existentes ou extraem diretamente mais dados brutos da Internet, que não possuem garantia de qualidade de dados, ou destilam de modelos comerciais caixa-preta (por exemplo, GPT-4V / Gemini), limitando o desempenho ao máximo desse modelo. Neste trabalho, introduzimos uma abordagem inovadora que inclui uma etapa de autoaumento e uma etapa de aumento especializado para melhorar iterativamente a qualidade dos dados e o desempenho do modelo. Na etapa de autoaumento, um VLM recapitula seus próprios dados de pré-treinamento para aprimorar a qualidade dos dados e, em seguida, é retreinado do zero usando esse conjunto de dados refinado para melhorar o desempenho do modelo. Esse processo pode ser iterado por várias rodadas. Uma vez que a autoaumentação satura, empregamos vários VLMs especializados ajustados a partir do VLM autoaumentado com experiência específica de domínio, para infundir ainda mais conhecimento especializado no VLM generalista por meio de recapitulação e retrabalho orientados para tarefas. Com o treinamento combinado de autoaumento e aumento especializado, introduzimos o VILA^2 (VILA-augmented-VILA), uma família de VLMs que melhora consistentemente a precisão em uma ampla gama de tarefas em relação ao estado da arte anterior, e alcança novos resultados de ponta no quadro de líderes MMMU entre os modelos de código aberto.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.