Een hoogwaardige dataset en betrouwbare evaluatie voor interleaved beeld-tekstgeneratie

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

Auteurs: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

Samenvatting

Recente vooruitgang in Grote Multimodale Modellen (LMMs) heeft het begrip en de generatie van multimodale gegevens aanzienlijk verbeterd. Deze modellen hebben echter nog steeds moeite met het genereren van nauw verweven beeld-tekst-uitvoer, voornamelijk vanwege de beperkte schaal, kwaliteit en instructierijkdom van de huidige trainingsdatasets. Om dit aan te pakken, introduceren we InterSyn, een grootschalige multimodale dataset die is opgebouwd met behulp van onze Self-Evaluation with Iterative Refinement (SEIR)-methode. InterSyn bevat meerronde, instructiegestuurde dialogen met nauw verweven beeld-tekst-reacties, en biedt een rijke diversiteit aan objecten en rigoureuze geautomatiseerde kwaliteitsverfijning, waardoor het zeer geschikt is voor het trainen van instructievolgende LMMs van de volgende generatie. Verder introduceren we, om het gebrek aan betrouwbare evaluatietools die in staat zijn om verweven multimodale uitvoer te beoordelen aan te pakken, SynJudge, een automatisch evaluatiemodel dat is ontworpen om multimodale uitvoer kwantitatief te beoordelen langs vier dimensies: tekstinhoud, beeldinhoud, beeldkwaliteit en beeld-tekst-synergie. Experimentele studies tonen aan dat de SEIR-methode leidt tot een aanzienlijk hogere datasetkwaliteit in vergelijking met een verder identiek proces zonder verfijning. Bovendien behalen LMMs die op InterSyn zijn getraind uniforme prestatieverbeteringen op alle evaluatiemetrics, wat de bruikbaarheid van InterSyn voor het bevorderen van multimodale systemen bevestigt.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.