Unicorn: Синтез данных на основе текста для обучения моделей обработки визуальной информации и языка

Unicorn: Text-Only Data Synthesis for Vision Language Model Training

March 28, 2025

Авторы: Xiaomin Yu, Pengxiang Ding, Wenjie Zhang, Siteng Huang, Songyang Gao, Chengwei Qin, Kejian Wu, Zhaoxin Fan, Ziyue Qiao, Donglin Wang

cs.AI

Аннотация

Обучение моделей, работающих с визуальными и текстовыми данными (VLMs), обычно требует масштабных наборов высококачественных пар "изображение-текст", однако сбор или синтез таких данных является дорогостоящим. В то же время текстовые данные доступны в изобилии и недороги, что поднимает вопрос: можно ли синтезировать высококачественные мультимодальные данные для обучения исключительно из текста? Для решения этой задачи мы предлагаем кросс-интегрированную трехэтапную структуру синтеза мультимодальных данных, которая генерирует два набора данных: Unicorn-1.2M и Unicorn-471K-Instruction. На этапе 1: Синтез разнообразных текстовых описаний, мы создаем 1,2 миллиона семантически разнообразных высококачественных описаний, расширяя исходные скудные описания с помощью больших языковых моделей (LLMs). На этапе 2: Генерация данных для настройки на инструкциях, мы преобразуем 471 тысячу описаний в многошаговые задачи для настройки на инструкциях, чтобы поддерживать сложные рассуждения. Наконец, на этапе 3: Перенос представлений модальностей, текстовые представления описаний преобразуются в визуальные представления, что приводит к созданию разнообразных синтетических представлений изображений. Этот трехэтапный процесс позволяет нам создать набор Unicorn-1.2M для предварительного обучения и Unicorn-471K-Instruction для настройки на инструкциях, не полагаясь на реальные изображения. Устраняя зависимость от реальных изображений при сохранении качества и разнообразия данных, наша структура предлагает экономически эффективное и масштабируемое решение для обучения VLMs. Код доступен по адресу https://github.com/Yu-xm/Unicorn.git.

English

Training vision-language models (VLMs) typically requires large-scale, high-quality image-text pairs, but collecting or synthesizing such data is costly. In contrast, text data is abundant and inexpensive, prompting the question: can high-quality multimodal training data be synthesized purely from text? To tackle this, we propose a cross-integrated three-stage multimodal data synthesis framework, which generates two datasets: Unicorn-1.2M and Unicorn-471K-Instruction. In Stage 1: Diverse Caption Data Synthesis, we construct 1.2M semantically diverse high-quality captions by expanding sparse caption seeds using large language models (LLMs). In Stage 2: Instruction-Tuning Data Generation, we further process 471K captions into multi-turn instruction-tuning tasks to support complex reasoning. Finally, in Stage 3: Modality Representation Transfer, these textual captions representations are transformed into visual representations, resulting in diverse synthetic image representations. This three-stage process enables us to construct Unicorn-1.2M for pretraining and Unicorn-471K-Instruction for instruction-tuning, without relying on real images. By eliminating the dependency on real images while maintaining data quality and diversity, our framework offers a cost-effective and scalable solution for VLMs training. Code is available at https://github.com/Yu-xm/Unicorn.git.