Schaalbaar begrip van tekstrijke afbeeldingen via code-gestuurde synthetische multimodale datageneratie

Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation

February 20, 2025

Auteurs: Yue Yang, Ajay Patel, Matt Deitke, Tanmay Gupta, Luca Weihs, Andrew Head, Mark Yatskar, Chris Callison-Burch, Ranjay Krishna, Aniruddha Kembhavi, Christopher Clark

cs.AI

Samenvatting

Redeneren over afbeeldingen met rijke tekst, zoals grafieken en documenten, is een cruciale toepassing van visie-taalmodellen (VLMs). Echter, VLMs hebben vaak moeite in deze domeinen vanwege het gebrek aan diverse tekstrijke visie-taalgegevens. Om deze uitdaging aan te pakken, presenteren we CoSyn, een raamwerk dat gebruikmaakt van de programmeercapaciteiten van tekstgebaseerde grote taalmodellen (LLMs) om automatisch synthetische tekstrijke multimodale gegevens te creëren. Gegeven invoertekst die een doeldomein beschrijft (bijv. "voedingswaardelabels"), vraagt CoSyn een LLM om code (Python, HTML, LaTeX, etc.) te genereren voor het renderen van synthetische afbeeldingen. Met de onderliggende code als tekstuele representaties van de synthetische afbeeldingen, kan CoSyn hoogwaardige instructie-afstemmingsgegevens genereren, opnieuw vertrouwend op een tekstgebaseerde LLM. Met CoSyn hebben we een dataset samengesteld bestaande uit 400K afbeeldingen en 2,7 miljoen rijen visie-taal instructie-afstemmingsgegevens. Uitgebreide experimenten op zeven benchmarks tonen aan dat modellen die getraind zijn op onze synthetische gegevens state-of-the-art prestaties behalen onder concurrerende open-source modellen, waaronder Llama 3.2, en propriëtaire modellen zoals GPT-4V en Gemini 1.5 Flash overtreffen. Bovendien kan CoSyn synthetische aanwijsgegevens produceren, waardoor VLMs informatie binnen invoerafbeeldingen kunnen verankeren, wat het potentieel aantoont voor het ontwikkelen van multimodale agents die in staat zijn om in real-world omgevingen te handelen.

English

Reasoning about images with rich text, such as charts and documents, is a critical application of vision-language models (VLMs). However, VLMs often struggle in these domains due to the scarcity of diverse text-rich vision-language data. To address this challenge, we present CoSyn, a framework that leverages the coding capabilities of text-only large language models (LLMs) to automatically create synthetic text-rich multimodal data. Given input text describing a target domain (e.g., "nutrition fact labels"), CoSyn prompts an LLM to generate code (Python, HTML, LaTeX, etc.) for rendering synthetic images. With the underlying code as textual representations of the synthetic images, CoSyn can generate high-quality instruction-tuning data, again relying on a text-only LLM. Using CoSyn, we constructed a dataset comprising 400K images and 2.7M rows of vision-language instruction-tuning data. Comprehensive experiments on seven benchmarks demonstrate that models trained on our synthetic data achieve state-of-the-art performance among competitive open-source models, including Llama 3.2, and surpass proprietary models such as GPT-4V and Gemini 1.5 Flash. Furthermore, CoSyn can produce synthetic pointing data, enabling VLMs to ground information within input images, showcasing its potential for developing multimodal agents capable of acting in real-world environments.