Unicorn: Síntese de Dados Apenas Textuais para Treinamento de Modelos de Linguagem Visual

Unicorn: Text-Only Data Synthesis for Vision Language Model Training

March 28, 2025

Autores: Xiaomin Yu, Pengxiang Ding, Wenjie Zhang, Siteng Huang, Songyang Gao, Chengwei Qin, Kejian Wu, Zhaoxin Fan, Ziyue Qiao, Donglin Wang

cs.AI

Resumo

O treinamento de modelos visão-linguagem (VLMs) geralmente requer pares de imagem-texto em grande escala e de alta qualidade, mas a coleta ou síntese desses dados é custosa. Em contraste, os dados textuais são abundantes e de baixo custo, levantando a questão: é possível sintetizar dados multimodais de alta qualidade puramente a partir de texto? Para abordar isso, propomos uma estrutura de síntese de dados multimodais em três estágios integrados, que gera dois conjuntos de dados: Unicorn-1.2M e Unicorn-471K-Instruction. No Estágio 1: Síntese de Dados de Legendas Diversas, construímos 1,2 milhão de legendas semanticamente diversas e de alta qualidade, expandindo sementes de legendas esparsas usando modelos de linguagem de grande escala (LLMs). No Estágio 2: Geração de Dados para Ajuste por Instrução, processamos ainda mais 471 mil legendas em tarefas de ajuste por instrução de múltiplas etapas para suportar raciocínio complexo. Finalmente, no Estágio 3: Transferência de Representação de Modalidade, essas representações textuais de legendas são transformadas em representações visuais, resultando em representações sintéticas de imagens diversas. Esse processo de três estágios nos permite construir o Unicorn-1.2M para pré-treinamento e o Unicorn-471K-Instruction para ajuste por instrução, sem depender de imagens reais. Ao eliminar a dependência de imagens reais enquanto mantém a qualidade e diversidade dos dados, nossa estrutura oferece uma solução econômica e escalável para o treinamento de VLMs. O código está disponível em https://github.com/Yu-xm/Unicorn.git.

English

Training vision-language models (VLMs) typically requires large-scale, high-quality image-text pairs, but collecting or synthesizing such data is costly. In contrast, text data is abundant and inexpensive, prompting the question: can high-quality multimodal training data be synthesized purely from text? To tackle this, we propose a cross-integrated three-stage multimodal data synthesis framework, which generates two datasets: Unicorn-1.2M and Unicorn-471K-Instruction. In Stage 1: Diverse Caption Data Synthesis, we construct 1.2M semantically diverse high-quality captions by expanding sparse caption seeds using large language models (LLMs). In Stage 2: Instruction-Tuning Data Generation, we further process 471K captions into multi-turn instruction-tuning tasks to support complex reasoning. Finally, in Stage 3: Modality Representation Transfer, these textual captions representations are transformed into visual representations, resulting in diverse synthetic image representations. This three-stage process enables us to construct Unicorn-1.2M for pretraining and Unicorn-471K-Instruction for instruction-tuning, without relying on real images. By eliminating the dependency on real images while maintaining data quality and diversity, our framework offers a cost-effective and scalable solution for VLMs training. Code is available at https://github.com/Yu-xm/Unicorn.git.