VisualWebInstruct: Escalonando Dados de Instrução Multimodal por meio de Busca na Web

VisualWebInstruct: Scaling up Multimodal Instruction Data through Web Search

March 13, 2025

Autores: Yiming Jia, Jiachen Li, Xiang Yue, Bo Li, Ping Nie, Kai Zou, Wenhu Chen

cs.AI

Resumo

Os Modelos de Visão e Linguagem têm feito progressos significativos em muitas tarefas focadas em percepção, porém, seu avanço em tarefas voltadas para raciocínio parece ser limitado devido à falta de dados de treinamento de alta qualidade e diversificados. Neste trabalho, buscamos abordar a escassez de conjuntos de dados multimodais focados em raciocínio. Propomos o VisualWebInstruct — uma abordagem inovadora que utiliza mecanismos de busca para criar um conjunto de dados diversificado e de alta qualidade, abrangendo múltiplas disciplinas como matemática, física, finanças, química, entre outras. Começando com 30.000 imagens selecionadas meticulosamente, empregamos a pesquisa do Google Imagens para identificar sites contendo imagens semelhantes. Coletamos e processamos os HTMLs de mais de 700 mil fontes de URLs únicas. Por meio de um pipeline de extração de conteúdo, filtragem e síntese, construímos um conjunto de dados de aproximadamente 900 mil pares de perguntas e respostas, sendo 40% pares de perguntas e respostas visuais e o restante pares de perguntas e respostas textuais. Modelos ajustados com o VisualWebInstruct demonstram ganhos significativos de desempenho: (1) o treinamento a partir do Llava-OV-mid mostra ganhos de 10 a 20 pontos percentuais absolutos em benchmarks, (2) o treinamento a partir do MAmmoTH-VL mostra um ganho absoluto de 5%. Nosso melhor modelo, o MAmmoTH-VL2, apresenta desempenho de ponta na classe de 10 bilhões de parâmetros no MMMU-Pro-std (40,7%), MathVerse (42,6%) e DynaMath (55,7%). Esses resultados notáveis destacam a eficácia do nosso conjunto de dados em aprimorar as capacidades de raciocínio dos VLMs para tarefas multimodais complexas.

English

Vision-Language Models have made significant progress on many perception-focused tasks, however, their progress on reasoning-focused tasks seem to be limited due to the lack of high-quality and diverse training data. In this work, we aim to address the scarcity issue of reasoning-focused multimodal datasets. We propose VisualWebInstruct - a novel approach that leverages search engine to create a diverse, and high-quality dataset spanning multiple disciplines like math, physics, finance, chemistry, etc. Starting with meticulously selected 30,000 seed images, we employ Google Image search to identify websites containing similar images. We collect and process the HTMLs from over 700K unique URL sources. Through a pipeline of content extraction, filtering and synthesis, we build a dataset of approximately 900K question-answer pairs, with 40% being visual QA pairs and the rest as text QA pairs. Models fine-tuned on VisualWebInstruct demonstrate significant performance gains: (1) training from Llava-OV-mid shows 10-20% absolute point gains across benchmarks, (2) training from MAmmoTH-VL shows 5% absoluate gain. Our best model MAmmoTH-VL2 shows state-of-the-art performance within the 10B parameter class on MMMU-Pro-std (40.7%), MathVerse (42.6%), and DynaMath (55.7%). These remarkable results highlight the effectiveness of our dataset in enhancing VLMs' reasoning capabilities for complex multimodal tasks.