Un Dataset di Alta Qualità e una Valutazione Affidabile per la Generazione Intervallata di Immagini e Testi

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

Autori: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

Abstract

I recenti progressi nei Modelli Multimodali di Grande Scala (LMMs) hanno migliorato significativamente la comprensione e la generazione multimodale. Tuttavia, questi modelli continuano a incontrare difficoltà nella generazione di output immagine-testo strettamente interconnessi, principalmente a causa della scala limitata, della qualità e della ricchezza istruzionale degli attuali dataset di addestramento. Per affrontare questo problema, introduciamo InterSyn, un dataset multimodale su larga scala costruito utilizzando il nostro metodo di Auto-Valutazione con Affinamento Iterativo (SEIR). InterSyn presenta dialoghi multi-turn guidati da istruzioni con risposte immagine-testo strettamente interconnesse, offrendo una vasta diversità di oggetti e un rigoroso affinamento automatico della qualità, rendendolo particolarmente adatto per l'addestramento di LMMs di nuova generazione che seguono istruzioni. Inoltre, per affrontare la mancanza di strumenti di valutazione affidabili in grado di valutare output multimodali interconnessi, introduciamo SynJudge, un modello di valutazione automatica progettato per valutare quantitativamente gli output multimodali lungo quattro dimensioni: contenuto testuale, contenuto dell'immagine, qualità dell'immagine e sinergia immagine-testo. Studi sperimentali dimostrano che il metodo SEIR porta a una qualità del dataset sostanzialmente superiore rispetto a un processo altrimenti identico senza affinamento. Inoltre, i LMMs addestrati su InterSyn ottengono miglioramenti uniformi in tutte le metriche di valutazione, confermando l'utilità di InterSyn per il progresso dei sistemi multimodali.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.