VILA^2: Расширенный VILA

VILA^2: VILA Augmented VILA

July 24, 2024

Авторы: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

Аннотация

Визуальные языковые модели (VLM) стремительно развиваются, подталкиваемые успехом крупных языковых моделей (LLM). В то время как архитектуры моделей и инфраструктуры обучения быстро совершенствуются, кураторство данных остается малоисследованным. Когда количество и качество данных становятся узким местом, существующие работы либо напрямую извлекают больше необработанных данных из Интернета, не гарантируя их качество, либо дистиллируют их из коммерческих черных ящиков (например, GPT-4V / Gemini), ограничивая производительность верхней границей этой модели. В данной работе мы представляем новый подход, включающий этап самоувеличения и этап увеличения специалиста для итеративного улучшения качества данных и производительности модели. На этапе самоувеличения VLM повторно описывает свои собственные данные предварительного обучения для улучшения качества данных, а затем переобучается с нуля, используя этот уточненный набор данных для улучшения производительности модели. Этот процесс может повторяться несколько раундов. Как только самоувеличение насыщается, мы используем несколько специализированных VLM, донастроенных из самоувеличенного VLM с экспертизой в определенной области, чтобы дополнительно внедрить специализированные знания в общий VLM через задачно-ориентированное повторное описывание и переобучение. Совместно с самоувеличением и увеличением специалиста мы представляем VILA^2 (VILA-увеличенный-VILA), семейство VLM, которое последовательно улучшает точность на широком спектре задач по сравнению с предыдущими работами и достигает новых результатов на доске лидеров MMMU среди моделей с открытым исходным кодом.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.