Ein hochwertiger Datensatz und eine zuverlässige Evaluierung für die verschachtelte Bild-Text-Generierung

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

Autoren: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen multimodalen Modellen (Large Multimodal Models, LMMs) haben das multimodale Verständnis und die Generierung erheblich verbessert. Dennoch haben diese Modelle nach wie vor Schwierigkeiten, eng verzahnte Bild-Text-Ausgaben zu erzeugen, was hauptsächlich auf den begrenzten Umfang, die Qualität und die Anweisungsvielfalt der derzeitigen Trainingsdatensätze zurückzuführen ist. Um dies zu beheben, stellen wir InterSyn vor, einen groß angelegten multimodalen Datensatz, der mit unserer Methode der Selbstbewertung mit iterativer Verfeinerung (Self-Evaluation with Iterative Refinement, SEIR) erstellt wurde. InterSyn zeichnet sich durch mehrstufige, anweisungsgesteuerte Dialoge mit eng verzahnten Bild-Text-Antworten aus, bietet eine große Objektvielfalt und eine strenge automatisierte Qualitätsverfeinerung, was es besonders gut für das Training der nächsten Generation von anweisungsfolgenden LMMs geeignet macht. Darüber hinaus führen wir SynJudge ein, ein automatisches Bewertungsmodell, das entwickelt wurde, um multimodale Ausgaben entlang vier Dimensionen quantitativ zu bewerten: Textinhalt, Bildinhalt, Bildqualität und Bild-Text-Synergie. Experimentelle Studien zeigen, dass die SEIR-Methode zu einer deutlich höheren Datensatzqualität führt im Vergleich zu einem ansonsten identischen Prozess ohne Verfeinerung. Darüber hinaus erzielen LMMs, die auf InterSyn trainiert wurden, einheitliche Leistungssteigerungen in allen Bewertungsmetriken, was den Nutzen von InterSyn für die Weiterentwicklung multimodaler Systeme bestätigt.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.