VILA^2: VILA Aumentato VILA

Abstract

I modelli di linguaggio visivo (VLMs) hanno fatto rapidi progressi, trainati dal successo dei grandi modelli linguistici (LLMs). Mentre le architetture dei modelli e le infrastrutture di addestramento avanzano rapidamente, la cura dei dati rimane un ambito poco esplorato. Quando la quantità e la qualità dei dati diventano un collo di bottiglia, i lavori esistenti si limitano a raccogliere direttamente più dati grezzi da Internet, senza garanzia di qualità, oppure distillano da modelli commerciali a scatola chiusa (ad esempio, GPT-4V / Gemini), limitando così le prestazioni a quelle del modello di partenza. In questo lavoro, introduciamo un approccio innovativo che include un passo di auto-aumento e un passo di aumento specializzato per migliorare iterativamente la qualità dei dati e le prestazioni del modello. Nel passo di auto-aumento, un VLM ricaptiona i propri dati di pre-addestramento per migliorarne la qualità, per poi riaddestrare da zero utilizzando questo dataset raffinato, migliorando così le prestazioni del modello. Questo processo può iterare per diversi cicli. Una volta che l'auto-aumento raggiunge un punto di saturazione, impieghiamo diversi VLMs specializzati, affinati a partire dal VLM auto-aumentato, con competenze specifiche per dominio, per infondere ulteriormente conoscenze specialistiche nel VLM generalista attraverso ricaptioning e riaddestramento orientati al compito. Con l'addestramento combinato di auto-aumento e aumento specializzato, introduciamo VILA^2 (VILA-aumentato-VILA), una famiglia di VLMs che migliora costantemente l'accuratezza su un'ampia gamma di task rispetto allo stato dell'arte precedente e raggiunge nuovi risultati all'avanguardia nella classifica MMMU tra i modelli open-source.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.

VILA^2: VILA Aumentato VILA

VILA^2: VILA Augmented VILA

Abstract

Support