VILA^2: VILA erweitert VILA

VILA^2: VILA Augmented VILA

July 24, 2024

Autoren: Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

cs.AI

Zusammenfassung

Visuelle Sprachmodelle (VLMs) haben sich schnell weiterentwickelt, angetrieben vom Erfolg großer Sprachmodelle (LLMs). Während Modellarchitekturen und Trainingsinfrastrukturen schnell voranschreiten, bleibt die Datenkuratierung untererforscht. Wenn Datenmenge und -qualität zu Engpässen werden, greifen bestehende Arbeiten entweder direkt auf mehr Rohdaten aus dem Internet zurück, die keine Garantie für Datenqualität bieten, oder destillieren aus Black-Box-Kommerziellen Modellen (z. B. GPT-4V / Gemini), was die Leistung durch dieses Modell nach oben begrenzt. In dieser Arbeit stellen wir einen neuartigen Ansatz vor, der einen Selbstvergrößerungsschritt und einen Fachvergrößerungsschritt beinhaltet, um iterativ die Datenqualität und die Modellleistung zu verbessern. Im Selbstvergrößerungsschritt unterzieht ein VLM seine eigenen Vortrainingsdaten einer Neubeschriftung, um die Datenqualität zu verbessern, und trainiert dann von Grund auf neu mit diesem verfeinerten Datensatz, um die Modellleistung zu steigern. Dieser Prozess kann mehrere Runden durchlaufen. Sobald die Selbstvergrößerung gesättigt ist, verwenden wir mehrere spezialisierte VLMs, die vom selbstvergrößerten VLM mit domänenspezifischer Expertise feinabgestimmt wurden, um spezialisiertes Wissen in das generalistische VLM durch aufgabenorientierte Neubeschriftung und Neutraining einzubringen. Mit dem kombinierten selbstvergrößerten und fachvergrößerten Training stellen wir VILA^2 (VILA-vergrößert-VILA) vor, eine VLM-Familie, die die Genauigkeit bei einer Vielzahl von Aufgaben im Vergleich zum Stand der Technik kontinuierlich verbessert und auf dem MMMU-Leaderboard unter Open-Source-Modellen neue Spitzenleistung erzielt.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.