Unicorn: Textbasierte Datensynthese für das Training von Vision-Language-Modellen

Unicorn: Text-Only Data Synthesis for Vision Language Model Training

March 28, 2025

Autoren: Xiaomin Yu, Pengxiang Ding, Wenjie Zhang, Siteng Huang, Songyang Gao, Chengwei Qin, Kejian Wu, Zhaoxin Fan, Ziyue Qiao, Donglin Wang

cs.AI

Zusammenfassung

Das Training von Vision-Language-Modellen (VLMs) erfordert typischerweise groß angelegte, hochwertige Bild-Text-Paare, doch die Sammlung oder Synthese solcher Daten ist kostspielig. Im Gegensatz dazu sind Textdaten reichlich vorhanden und kostengünstig, was die Frage aufwirft: Kann hochwertiges multimodales Trainingsdatenmaterial ausschließlich aus Text synthetisiert werden? Um dies zu bewältigen, schlagen wir ein dreistufiges, cross-integriertes multimodales Datensynthese-Framework vor, das zwei Datensätze generiert: Unicorn-1.2M und Unicorn-471K-Instruction. In Stufe 1: Diverse Caption Data Synthesis konstruieren wir 1,2 Millionen semantisch vielfältige, hochwertige Bildbeschreibungen, indem wir spärliche Beschreibungsansätze mithilfe von Large Language Models (LLMs) erweitern. In Stufe 2: Instruction-Tuning Data Generation verarbeiten wir weitere 471.000 Bildbeschreibungen in mehrstufige Instruction-Tuning-Aufgaben, um komplexes logisches Denken zu unterstützen. Schließlich werden in Stufe 3: Modality Representation Transfer diese textuellen Beschreibungsrepräsentationen in visuelle Repräsentationen umgewandelt, was zu vielfältigen synthetischen Bildrepräsentationen führt. Dieser dreistufige Prozess ermöglicht es uns, Unicorn-1.2M für das Pretraining und Unicorn-471K-Instruction für das Instruction-Tuning zu erstellen, ohne auf reale Bilder angewiesen zu sein. Indem wir die Abhängigkeit von realen Bildern eliminieren und gleichzeitig die Datenqualität und -vielfalt bewahren, bietet unser Framework eine kosteneffiziente und skalierbare Lösung für das Training von VLMs. Der Code ist verfügbar unter https://github.com/Yu-xm/Unicorn.git.

English

Training vision-language models (VLMs) typically requires large-scale, high-quality image-text pairs, but collecting or synthesizing such data is costly. In contrast, text data is abundant and inexpensive, prompting the question: can high-quality multimodal training data be synthesized purely from text? To tackle this, we propose a cross-integrated three-stage multimodal data synthesis framework, which generates two datasets: Unicorn-1.2M and Unicorn-471K-Instruction. In Stage 1: Diverse Caption Data Synthesis, we construct 1.2M semantically diverse high-quality captions by expanding sparse caption seeds using large language models (LLMs). In Stage 2: Instruction-Tuning Data Generation, we further process 471K captions into multi-turn instruction-tuning tasks to support complex reasoning. Finally, in Stage 3: Modality Representation Transfer, these textual captions representations are transformed into visual representations, resulting in diverse synthetic image representations. This three-stage process enables us to construct Unicorn-1.2M for pretraining and Unicorn-471K-Instruction for instruction-tuning, without relying on real images. By eliminating the dependency on real images while maintaining data quality and diversity, our framework offers a cost-effective and scalable solution for VLMs training. Code is available at https://github.com/Yu-xm/Unicorn.git.