Масштабирование понимания текстово-насыщенных изображений с помощью генерации синтетических мультимодальных данных на основе кода

Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation

February 20, 2025

Авторы: Yue Yang, Ajay Patel, Matt Deitke, Tanmay Gupta, Luca Weihs, Andrew Head, Mark Yatskar, Chris Callison-Burch, Ranjay Krishna, Aniruddha Kembhavi, Christopher Clark

cs.AI

Аннотация

Анализ изображений с насыщенным текстом, таких как диаграммы и документы, является важной задачей для моделей, объединяющих зрение и язык (VLMs). Однако VLMs часто испытывают трудности в этих областях из-за недостатка разнообразных данных, сочетающих визуальную и текстовую информацию. Для решения этой проблемы мы представляем CoSyn — фреймворк, который использует возможности генерации кода текстовых больших языковых моделей (LLMs) для автоматического создания синтетических мультимодальных данных с насыщенным текстом. Получив входной текст, описывающий целевую область (например, "этикетки с пищевой ценностью"), CoSyn побуждает LLM сгенерировать код (Python, HTML, LaTeX и т.д.) для создания синтетических изображений. Используя этот код как текстовое представление синтетических изображений, CoSyn может генерировать высококачественные данные для настройки инструкций, снова полагаясь на текстовую LLM. С помощью CoSyn мы создали набор данных, включающий 400 тыс. изображений и 2,7 млн строк данных для настройки инструкций, связывающих зрение и язык. Комплексные эксперименты на семи бенчмарках показывают, что модели, обученные на наших синтетических данных, достигают наилучших результатов среди конкурентоспособных открытых моделей, включая Llama 3.2, и превосходят проприетарные модели, такие как GPT-4V и Gemini 1.5 Flash. Кроме того, CoSyn способен генерировать синтетические данные для локализации информации, что позволяет VLMs привязывать информацию к конкретным областям входных изображений, демонстрируя потенциал для разработки мультимодальных агентов, способных действовать в реальных условиях.

English

Reasoning about images with rich text, such as charts and documents, is a critical application of vision-language models (VLMs). However, VLMs often struggle in these domains due to the scarcity of diverse text-rich vision-language data. To address this challenge, we present CoSyn, a framework that leverages the coding capabilities of text-only large language models (LLMs) to automatically create synthetic text-rich multimodal data. Given input text describing a target domain (e.g., "nutrition fact labels"), CoSyn prompts an LLM to generate code (Python, HTML, LaTeX, etc.) for rendering synthetic images. With the underlying code as textual representations of the synthetic images, CoSyn can generate high-quality instruction-tuning data, again relying on a text-only LLM. Using CoSyn, we constructed a dataset comprising 400K images and 2.7M rows of vision-language instruction-tuning data. Comprehensive experiments on seven benchmarks demonstrate that models trained on our synthetic data achieve state-of-the-art performance among competitive open-source models, including Llama 3.2, and surpass proprietary models such as GPT-4V and Gemini 1.5 Flash. Furthermore, CoSyn can produce synthetic pointing data, enabling VLMs to ground information within input images, showcasing its potential for developing multimodal agents capable of acting in real-world environments.