Um Conjunto de Dados de Alta Qualidade e Avaliação Confiável para Geração Intercalada de Imagem-Texto

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

Autores: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

Resumo

Os avanços recentes em Modelos Multimodais de Grande Escala (LMMs) melhoraram significativamente a compreensão e geração multimodal. No entanto, esses modelos ainda enfrentam dificuldades para gerar saídas de imagem-texto fortemente intercaladas, principalmente devido à escala limitada, qualidade e riqueza instrucional dos conjuntos de dados de treinamento atuais. Para resolver isso, introduzimos o InterSyn, um conjunto de dados multimodal em larga escala construído usando nosso método de Autoavaliação com Refinamento Iterativo (SEIR). O InterSyn apresenta diálogos de múltiplas interações orientados por instruções com respostas de imagem-texto fortemente intercaladas, oferecendo diversidade rica de objetos e refinamento de qualidade automatizado rigoroso, tornando-o bem adequado para treinar LMMs de próxima geração que seguem instruções. Além disso, para abordar a falta de ferramentas de avaliação confiáveis capazes de avaliar saídas multimodais intercaladas, introduzimos o SynJudge, um modelo de avaliação automática projetado para quantificar saídas multimodais em quatro dimensões: conteúdo de texto, conteúdo de imagem, qualidade de imagem e sinergia imagem-texto. Estudos experimentais mostram que o método SEIR resulta em uma qualidade de conjunto de dados substancialmente maior em comparação com um processo idêntico sem refinamento. Além disso, LMMs treinados no InterSyn alcançam ganhos de desempenho uniformes em todas as métricas de avaliação, confirmando a utilidade do InterSyn para avançar sistemas multimodais.

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.