SciIR: 科学画像推論生成のための大規模訓練データセットとベンチマーク

要旨

テキストから画像を生成する（T2I）モデルは、写実的な視覚コンテンツの生成において顕著な成功を収めているものの、科学的な画像に求められる厳密な意味的整合性や論理的推論には依然として苦戦している。我々は、パースの記号論的三項関係に着想を得て、科学的画像生成のための訓練と評価を包括的に提供するリソース「Scientific Image Reasoning（SciIR）」を提案する。科学的推論を、実体構造（イコン）、科学プロセス（インデックス）、科学法則（シンボル）という三つの核となる次元に形式化する。具体的には、科学的画像生成における訓練データの不足を克服するため、最先端の論文から抽出した8万件以上の高品質な科学画像－テキスト対からなる大規模データセットSciIR-82kを精巧に構築した。このデータセットは記号論的次元に従って階層的に整理され、科学推論連鎖思考（Sci-RCoT）を組み込むことで、根底にある視覚的論理を明示的にモデル化している。評価に関しては、これら三つの記号論的レベルに対応したSciIR-Benchを提案し、アトミックチェックリストを用いて、結果指向の科学的正確性をプロセス指向で検証可能な細分化された質問に変換する。広範な実験により、現在のモデルにおける科学的推論能力の重大な欠陥が明らかになった。さらに、SciIR-82kデータセットでファインチューニングを行うことにより、Qwen-Image-SciIRモデルを開発し、SciIR-Benchにおける最終スコアを35%から43%に大幅に向上させ、将来の科学的画像生成の進展に向けた強固な基盤を築いた。

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.