SciIR: 과학 이미지 추론 생성을 위한 대규모 학습 데이터셋 및 벤치마크

초록

텍스트-이미지(Text-to-Image, T2I) 모델은 사실적인 시각 콘텐츠 생성에서 놀라운 성과를 보여주었지만, 과학적 이미지에 요구되는 엄격한 의미 정렬 및 논리적 추론에는 여전히 어려움을 겪고 있다. 퍼스(Peirce)의 기호학적 삼항 관계(Semiotic Triad)에서 영감을 받아, 우리는 과학적 이미지 생성의 훈련 및 평가를 위한 포괄적 자원인 과학적 이미지 추론(Scientific Image Reasoning, SciIR)을 소개한다. 우리는 과학적 추론을 세 가지 핵심 차원, 즉 개체 구조(도상, Icon), 과학적 과정(지표, Index), 과학적 법칙(상징, Symbol)으로 형식화한다. 구체적으로, 과학적 이미지 생성의 훈련 데이터 부족 문제를 극복하기 위해, 우리는 최신 출판물에서 추출한 8만 개 이상의 고품질 과학 이미지-텍스트 쌍을 포함하는 대규모 데이터셋 SciIR-82k를 정교하게 구축하였다. 데이터셋은 기호학적 차원에 따라 계층적으로 구성되며, 기저 시각 논리를 명시적으로 모델링하기 위해 과학적 추론 사고 사슬(Scientific Reasoning Chain-of-Thought, Sci-RCoT)을 통합한다. 평가를 위해, 우리는 이 세 가지 기호학적 수준에 부합하는 SciIR-Bench를 제안하며, 원자 체크리스트(Atomic Checklist)를 활용하여 결과 지향적 과학적 정확성을 과정 지향적이고 검증 가능한 세분화된 질문으로 변환한다. 광범위한 실험을 통해 현재 모델들의 과학적 추론 능력에 상당한 결함이 있음을 발견하였다. 또한, SciIR-82k 데이터셋에서의 미세 조정을 통해 Qwen-Image-SciIR 모델을 개발하였으며, 이 모델은 SciIR-Bench에서 최종 점수를 35%에서 43%로 크게 향상시켜 향후 과학적 이미지 생성 발전을 위한 견고한 기반을 마련하였다.

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.