高品質なデータセットと信頼性のある評価を伴う インタリーブ型画像-テキスト生成

A High-Quality Dataset and Reliable Evaluation for Interleaved Image-Text Generation

June 11, 2025

著者: Yukang Feng, Jianwen Sun, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yifan Chang, Sizhuo Zhou, Shenglin Zhang, Yu Dai, Kaipeng Zhang

cs.AI

要旨

大規模マルチモーダルモデル（LMMs）の最近の進展により、マルチモーダル理解と生成が大幅に向上しました。しかし、これらのモデルは依然として密接に織り交ぜられた画像とテキストの出力を生成するのに苦労しており、その主な原因は現在のトレーニングデータセットの規模、品質、および指示の豊富さの限界にあります。この問題に対処するため、私たちはSelf-Evaluation with Iterative Refinement（SEIR）手法を用いて構築した大規模マルチモーダルデータセットであるInterSynを紹介します。InterSynは、密接に織り交ぜられた画像とテキストの応答を伴う多段階の指示駆動型ダイアログを特徴とし、豊富なオブジェクトの多様性と厳格な自動品質改善を提供し、次世代の指示追従型LMMsのトレーニングに適しています。さらに、織り交ぜられたマルチモーダル出力を評価できる信頼性のある評価ツールの不足に対処するため、テキスト内容、画像内容、画像品質、および画像とテキストの相乗効果という4つの次元に沿ってマルチモーダル出力を定量的に評価する自動評価モデルであるSynJudgeを導入します。 実験的研究により、SEIR手法は、改善なしの同一プロセスと比較して大幅に高いデータセット品質をもたらすことが示されています。さらに、InterSynでトレーニングされたLMMsは、すべての評価指標において一貫した性能向上を達成し、マルチモーダルシステムの進展におけるInterSynの有用性を確認しています。

English

Recent advancements in Large Multimodal Models (LMMs) have significantly improved multimodal understanding and generation. However, these models still struggle to generate tightly interleaved image-text outputs, primarily due to the limited scale, quality and instructional richness of current training datasets. To address this, we introduce InterSyn, a large-scale multimodal dataset constructed using our Self-Evaluation with Iterative Refinement (SEIR) method. InterSyn features multi-turn, instruction-driven dialogues with tightly interleaved imagetext responses, providing rich object diversity and rigorous automated quality refinement, making it well-suited for training next-generation instruction-following LMMs. Furthermore, to address the lack of reliable evaluation tools capable of assessing interleaved multimodal outputs, we introduce SynJudge, an automatic evaluation model designed to quantitatively assess multimodal outputs along four dimensions: text content, image content, image quality, and image-text synergy. Experimental studies show that the SEIR method leads to substantially higher dataset quality compared to an otherwise identical process without refinement. Moreover, LMMs trained on InterSyn achieve uniform performance gains across all evaluation metrics, confirming InterSyn's utility for advancing multimodal systems.