Un Conjunto de Datos de Alta Calidad y una Evaluación Confiable para la Generación Intercalada de Imágenes y Texto

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

Autores: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

Resumen

Los avances recientes en los Modelos Multimodales de Gran Escala (LMMs, por sus siglas en inglés) han mejorado significativamente la comprensión y generación multimodal. Sin embargo, estos modelos aún enfrentan dificultades para generar salidas de imagen-texto estrechamente entrelazadas, principalmente debido a la escala limitada, la calidad y la riqueza instructiva de los conjuntos de datos de entrenamiento actuales. Para abordar este problema, presentamos InterSyn, un conjunto de datos multimodal a gran escala construido utilizando nuestro método de Autoevaluación con Refinamiento Iterativo (SEIR, por sus siglas en inglés). InterSyn incluye diálogos de múltiples turnos impulsados por instrucciones con respuestas de imagen-texto estrechamente entrelazadas, ofreciendo una diversidad rica de objetos y un refinamiento de calidad automatizado riguroso, lo que lo hace adecuado para entrenar LMMs de próxima generación que sigan instrucciones. Además, para abordar la falta de herramientas de evaluación confiables capaces de evaluar salidas multimodales entrelazadas, presentamos SynJudge, un modelo de evaluación automática diseñado para cuantificar las salidas multimodales en cuatro dimensiones: contenido de texto, contenido de imagen, calidad de imagen y sinergia imagen-texto. Los estudios experimentales muestran que el método SEIR conduce a una calidad de conjunto de datos sustancialmente mayor en comparación con un proceso idéntico sin refinamiento. Además, los LMMs entrenados con InterSyn logran mejoras uniformes en todas las métricas de evaluación, confirmando la utilidad de InterSyn para avanzar en los sistemas multimodales.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.