Mise à l'échelle de la compréhension d'images riches en texte via la génération synthétique de données multimodales guidée par code

Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation

February 20, 2025

Auteurs: Yue Yang, Ajay Patel, Matt Deitke, Tanmay Gupta, Luca Weihs, Andrew Head, Mark Yatskar, Chris Callison-Burch, Ranjay Krishna, Aniruddha Kembhavi, Christopher Clark

cs.AI

Résumé

Le raisonnement sur des images contenant du texte riche, comme des graphiques et des documents, constitue une application cruciale des modèles vision-langage (VLMs). Cependant, les VLMs rencontrent souvent des difficultés dans ces domaines en raison de la rareté de données vision-langage diversifiées et riches en texte. Pour relever ce défi, nous présentons CoSyn, un cadre qui exploite les capacités de codage des grands modèles de langage (LLMs) textuels pour créer automatiquement des données multimodales synthétiques riches en texte. Étant donné un texte d'entrée décrivant un domaine cible (par exemple, "étiquettes de faits nutritionnels"), CoSyn incite un LLM à générer du code (Python, HTML, LaTeX, etc.) pour produire des images synthétiques. Avec le code sous-jacent comme représentation textuelle des images synthétiques, CoSyn peut générer des données de réglage d'instructions de haute qualité, en s'appuyant à nouveau sur un LLM textuel. En utilisant CoSyn, nous avons construit un ensemble de données comprenant 400 000 images et 2,7 millions de lignes de données de réglage d'instructions vision-langage. Des expériences approfondies sur sept benchmarks démontrent que les modèles entraînés sur nos données synthétiques atteignent des performances de pointe parmi les modèles open-source concurrents, y compris Llama 3.2, et surpassent des modèles propriétaires tels que GPT-4V et Gemini 1.5 Flash. De plus, CoSyn peut produire des données de pointage synthétiques, permettant aux VLMs de localiser des informations dans les images d'entrée, ce qui met en évidence son potentiel pour développer des agents multimodaux capables d'agir dans des environnements réels.

English

Reasoning about images with rich text, such as charts and documents, is a critical application of vision-language models (VLMs). However, VLMs often struggle in these domains due to the scarcity of diverse text-rich vision-language data. To address this challenge, we present CoSyn, a framework that leverages the coding capabilities of text-only large language models (LLMs) to automatically create synthetic text-rich multimodal data. Given input text describing a target domain (e.g., "nutrition fact labels"), CoSyn prompts an LLM to generate code (Python, HTML, LaTeX, etc.) for rendering synthetic images. With the underlying code as textual representations of the synthetic images, CoSyn can generate high-quality instruction-tuning data, again relying on a text-only LLM. Using CoSyn, we constructed a dataset comprising 400K images and 2.7M rows of vision-language instruction-tuning data. Comprehensive experiments on seven benchmarks demonstrate that models trained on our synthetic data achieve state-of-the-art performance among competitive open-source models, including Llama 3.2, and surpass proprietary models such as GPT-4V and Gemini 1.5 Flash. Furthermore, CoSyn can produce synthetic pointing data, enabling VLMs to ground information within input images, showcasing its potential for developing multimodal agents capable of acting in real-world environments.