SciIR : Un ensemble de données d'entraînement et un benchmark à grande échelle pour la génération de raisonnement à partir d'images scientifiques

Résumé

Bien que les modèles Texte-à-Image (T2I) aient connu un succès remarquable dans la génération de contenu visuel photoréaliste, ils peinent encore à atteindre l'alignement sémantique rigoureux et le raisonnement logique nécessaires à l'imagerie scientifique. Inspirés par la Triade sémiotique de Peirce, nous introduisons le Raisonnement d’Image Scientifique (SciIR), une ressource complète pour la formation et l'évaluation de la génération d'images scientifiques. Nous formalisons le raisonnement scientifique en trois dimensions fondamentales : la Structure d'entité (Icône), le Processus scientifique (Indice) et la Loi scientifique (Symbole). Plus précisément, pour surmonter la rareté des données d'entraînement dans la génération d'images scientifiques, nous créons minutieusement SciIR-82k, un jeu de données à grande échelle contenant plus de 80 000 paires texte-image scientifiques de haute qualité provenant de publications de pointe. Le jeu de données est organisé hiérarchiquement selon les dimensions sémiotiques et intègre une Chaîne de Pensée de Raisonnement Scientifique (Sci-RCoT) pour modéliser explicitement la logique visuelle sous-jacente. Pour l'évaluation, nous proposons SciIR-Bench, qui s'aligne sur ces trois niveaux sémiotiques et utilise une Liste de Vérification Atomique pour convertir la précision scientifique orientée vers les résultats en questions vérifiables, orientées processus et finement détaillées. Nos expériences approfondies révèlent des lacunes importantes dans les capacités de raisonnement scientifique des modèles actuels. De plus, en affinant sur le jeu de données SciIR-82k, nous avons développé le modèle Qwen-Image-SciIR, qui obtient une amélioration substantielle sur le SciIR-Bench, augmentant le score final de 35 % à 43 %, posant ainsi une base solide pour les futures avancées dans la génération d'images scientifiques.

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.