SciIR: Un conjunto de datos de entrenamiento a gran escala y un benchmark para la generación de razonamiento de imágenes científicas

Resumen

Aunque los modelos de texto a imagen (T2I) han demostrado un éxito notable en la generación de contenido visual fotorrealista, aún presentan dificultades en la alineación semántica rigurosa y el razonamiento lógico necesarios para las imágenes científicas. Inspirándonos en la Tríada Semiótica de Peirce, presentamos Scientific Image Reasoning (SciIR), un recurso integral para el entrenamiento y la evaluación de la generación de imágenes científicas. Formalizamos el razonamiento científico en tres dimensiones centrales: Estructura de Entidad (Icono), Proceso Científico (Índice) y Ley Científica (Símbolo). En concreto, para superar la escasez de datos de entrenamiento en la generación de imágenes científicas, elaboramos cuidadosamente SciIR-82k, un conjunto de datos a gran escala que contiene más de 80 000 pares de texto e imagen científica de alta calidad extraídos de publicaciones de vanguardia. El conjunto de datos está organizado jerárquicamente según las dimensiones semióticas e incorpora una Cadena de Razonamiento Científico (Sci-RCoT) para modelar explícitamente la lógica visual subyacente. Para la evaluación, proponemos SciIR-Bench, que se alinea con estos tres niveles semióticos y emplea una Lista de Verificación Atómica para convertir la precisión científica orientada a resultados en preguntas verificables y detalladas orientadas al proceso. Nuestros extensos experimentos revelan deficiencias significativas en las capacidades de razonamiento científico de los modelos actuales. Además, mediante el ajuste fino en el conjunto de datos SciIR-82k, desarrollamos el modelo Qwen-Image-SciIR, que logra una mejora sustancial en SciIR-Bench, elevando la puntuación final del 35 % al 43 %, sentando una base sólida para futuros avances en la generación de imágenes científicas.

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.