SciIR: крупномасштабный обучающий набор данных и эталон для генерации рассуждений на основе научных изображений

Аннотация

Хотя модели типа «Текст в изображение» (Text-to-Image, T2I) продемонстрировали выдающиеся успехи в генерации фотореалистичного визуального контента, они по-прежнему испытывают трудности с обеспечением строгого семантического соответствия и логических рассуждений, необходимых для научной визуализации. Вдохновлённые семиотической триадой Пирса (Peirce's Semiotic Triad), мы представляем ресурс SciIR (Scientific Image Reasoning) — комплексную базу для обучения и оценки генерации научных изображений. Мы формализуем научное рассуждение по трём ключевым измерениям: структура сущности (икона), научный процесс (индекс) и научный закон (символ). В частности, для преодоления нехватки обучающих данных в области генерации научных изображений мы тщательно подготовили SciIR-82k — крупномасштабный набор данных, содержащий более 80 000 высококачественных пар «научное изображение — текст» из передовых публикаций. Этот набор данных иерархически организован в соответствии с семиотическими измерениями и включает «Цепочку научных рассуждений» (Scientific Reasoning Chain-of-Thought, Sci-RCoT) для явного моделирования лежащей в основе визуальной логики. Для оценки мы предлагаем SciIR-Bench, который согласован с указанными тремя семиотическими уровнями и использует «Атомарный контрольный список» (Atomic Checklist) для преобразования ориентированной на результат научной точности в проверяемые, ориентированные на процесс вопросы с высокой степенью детализации. Проведённые нами обширные эксперименты выявляют существенные недостатки текущих моделей в способности к научным рассуждениям. Кроме того, путём тонкой настройки на наборе данных SciIR-82k мы разработали модель Qwen-Image-SciIR, которая демонстрирует значительное улучшение на SciIR-Bench, увеличив итоговый показатель с 35% до 43%, что закладывает прочную основу для будущих достижений в генерации научных изображений.

English

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.