VILA^2: VILA Aumentado VILA

Resumen

Los modelos de lenguaje visual (VLMs) han progresado rápidamente, impulsados por el éxito de los grandes modelos de lenguaje (LLMs). Mientras las arquitecturas de los modelos y las infraestructuras de entrenamiento avanzan rápidamente, la curación de datos sigue siendo poco explorada. Cuando la cantidad y calidad de los datos se convierten en un cuello de botella, los trabajos existentes o bien obtienen más datos sin procesar directamente de Internet, sin garantía de calidad de los datos, o destilan de modelos comerciales de caja negra (por ejemplo, GPT-4V / Gemini), lo que limita el rendimiento por el límite superior de ese modelo. En este trabajo, presentamos un enfoque novedoso que incluye un paso de autoaumento y un paso de aumento especializado para mejorar de forma iterativa la calidad de los datos y el rendimiento del modelo. En el paso de autoaumento, un VLM recaptura sus propios datos de preentrenamiento para mejorar la calidad de los datos, y luego se vuelve a entrenar desde cero utilizando este conjunto de datos refinado para mejorar el rendimiento del modelo. Este proceso puede repetirse varias veces. Una vez que la autoaumentación se satura, empleamos varios VLMs especializados ajustados a partir del VLM autoaumentado con conocimientos específicos de dominio, para incorporar aún más conocimiento especializado en el VLM generalista a través de la recaptura y el reentrenamiento orientados a la tarea. Con el entrenamiento combinado de autoaumento y aumento especializado, presentamos VILA^2 (VILA-augmented-VILA), una familia de VLMs que mejora consistentemente la precisión en una amplia gama de tareas en comparación con el estado del arte anterior, y logra nuevos resultados de vanguardia en la tabla de clasificación de MMMU entre los modelos de código abierto.

English

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce VILA^2 (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.

VILA^2: VILA Aumentado VILA

VILA^2: VILA Augmented VILA

Resumen

Support