SciIR: Ein groß angelegtes Trainingsdatenset und Benchmark für die Generierung wissenschaftlicher Bildschlussfolgerungen

Zusammenfassung

Während Text-zu-Bild-Modelle (T2I) bemerkenswerte Erfolge bei der Erzeugung fotorealistischer visueller Inhalte erzielt haben, tun sie sich dennoch schwer mit der strengen semantischen Abstimmung und logischen Argumentation, die für wissenschaftliche Bilder erforderlich sind. Inspiriert von Peirces Semiotischer Triade führen wir Scientific Image Reasoning (SciIR) ein, eine umfassende Ressource für Training und Evaluation der Erzeugung wissenschaftlicher Bilder. Wir formalisieren wissenschaftliches Denken in drei Kerndimensionen: Entitätsstruktur (Ikon), Wissenschaftlicher Prozess (Index) und Wissenschaftliches Gesetz (Symbol). Insbesondere erstellen wir zur Überwindung der Knappheit an Trainingsdaten bei der Erzeugung wissenschaftlicher Bilder sorgfältig SciIR-82k, einen groß angelegten Datensatz mit über 80.000 qualitativ hochwertigen wissenschaftlichen Bild-Text-Paaren aus hochmodernen Publikationen. Der Datensatz ist entsprechend den semiotischen Dimensionen hierarchisch organisiert und enthält eine Scientific Reasoning Chain-of-Thought (Sci-RCoT), um die zugrunde liegende visuelle Logik explizit zu modellieren. Für die Evaluation schlagen wir SciIR-Bench vor, das sich an diesen drei semiotischen Ebenen orientiert und eine atomare Checkliste verwendet, um die ergebnisorientierte wissenschaftliche Genauigkeit in prozessorientierte, überprüfbare, feinkörnige Fragen umzuwandeln. Unsere umfangreichen Experimente zeigen erhebliche Defizite in den wissenschaftlichen Denkfähigkeiten aktueller Modelle auf. Darüber hinaus haben wir durch Feintuning auf dem SciIR-82k-Datensatz das Modell Qwen-Image-SciIR entwickelt, das auf dem SciIR-Bench eine deutliche Verbesserung erzielt und die Endbewertung von 35% auf 43% steigert, womit eine solide Grundlage für zukünftige Fortschritte bei der Erzeugung wissenschaftlicher Bilder gelegt wird.

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.