Escalonando a Compreensão de Imagens com Texto por meio de Geração Sintética Multimodal Orientada por Código

Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation

February 20, 2025

Autores: Yue Yang, Ajay Patel, Matt Deitke, Tanmay Gupta, Luca Weihs, Andrew Head, Mark Yatskar, Chris Callison-Burch, Ranjay Krishna, Aniruddha Kembhavi, Christopher Clark

cs.AI

Resumo

Raciocinar sobre imagens com texto rico, como gráficos e documentos, é uma aplicação crítica dos modelos de visão e linguagem (VLMs). No entanto, os VLMs frequentemente enfrentam dificuldades nesses domínios devido à escassez de dados diversos e ricos em texto no contexto de visão e linguagem. Para enfrentar esse desafio, apresentamos o CoSyn, um framework que aproveita as capacidades de codificação de modelos de linguagem grandes (LLMs) baseados apenas em texto para criar automaticamente dados multimodais sintéticos ricos em texto. Dado um texto de entrada que descreve um domínio alvo (por exemplo, "rótulos de informações nutricionais"), o CoSyn solicita que um LLM gere código (Python, HTML, LaTeX, etc.) para renderizar imagens sintéticas. Com o código subjacente como representações textuais das imagens sintéticas, o CoSyn pode gerar dados de ajuste de instrução de alta qualidade, novamente dependendo de um LLM baseado apenas em texto. Usando o CoSyn, construímos um conjunto de dados composto por 400 mil imagens e 2,7 milhões de linhas de dados de ajuste de instrução de visão e linguagem. Experimentos abrangentes em sete benchmarks demonstram que modelos treinados com nossos dados sintéticos alcançam desempenho de ponta entre modelos competitivos de código aberto, incluindo o Llama 3.2, e superam modelos proprietários como o GPT-4V e o Gemini 1.5 Flash. Além disso, o CoSyn pode produzir dados sintéticos de apontamento, permitindo que os VLMs fundamentem informações dentro das imagens de entrada, mostrando seu potencial para desenvolver agentes multimodais capazes de agir em ambientes do mundo real.

English

Reasoning about images with rich text, such as charts and documents, is a critical application of vision-language models (VLMs). However, VLMs often struggle in these domains due to the scarcity of diverse text-rich vision-language data. To address this challenge, we present CoSyn, a framework that leverages the coding capabilities of text-only large language models (LLMs) to automatically create synthetic text-rich multimodal data. Given input text describing a target domain (e.g., "nutrition fact labels"), CoSyn prompts an LLM to generate code (Python, HTML, LaTeX, etc.) for rendering synthetic images. With the underlying code as textual representations of the synthetic images, CoSyn can generate high-quality instruction-tuning data, again relying on a text-only LLM. Using CoSyn, we constructed a dataset comprising 400K images and 2.7M rows of vision-language instruction-tuning data. Comprehensive experiments on seven benchmarks demonstrate that models trained on our synthetic data achieve state-of-the-art performance among competitive open-source models, including Llama 3.2, and surpass proprietary models such as GPT-4V and Gemini 1.5 Flash. Furthermore, CoSyn can produce synthetic pointing data, enabling VLMs to ground information within input images, showcasing its potential for developing multimodal agents capable of acting in real-world environments.