Высококачественный набор данных и надежная оценка для чередующейся генерации изображений и текста

Аннотация

Последние достижения в области крупных мультимодальных моделей (LMM) значительно улучшили понимание и генерацию мультимодальных данных. Однако эти модели по-прежнему испытывают трудности с созданием тесно переплетенных изображений и текстов, что в основном связано с ограниченным масштабом, качеством и инструктивной насыщенностью современных обучающих наборов данных. Для решения этой проблемы мы представляем InterSyn — крупномасштабный мультимодальный набор данных, созданный с использованием нашего метода самооценки с итеративным уточнением (SEIR). InterSyn включает многошаговые диалоги, управляемые инструкциями, с тесно переплетенными изображениями и текстовыми ответами, обеспечивая богатое разнообразие объектов и строгую автоматизированную проверку качества, что делает его идеальным для обучения LMM следующего поколения, способных следовать инструкциям. Кроме того, для устранения недостатка надежных инструментов оценки, способных анализировать переплетенные мультимодальные выходные данные, мы представляем SynJudge — автоматическую модель оценки, предназначенную для количественного анализа мультимодальных выходных данных по четырем параметрам: содержание текста, содержание изображения, качество изображения и синергия изображения и текста. Экспериментальные исследования показывают, что метод SEIR приводит к существенно более высокому качеству набора данных по сравнению с аналогичным процессом без уточнения. Более того, LMM, обученные на InterSyn, демонстрируют равномерное улучшение производительности по всем метрикам оценки, что подтверждает полезность InterSyn для развития мультимодальных систем.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.

Высококачественный набор данных и надежная оценка для чередующейся генерации изображений и текста

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

Аннотация

Support