МегаНаука: Расширение границ наборов данных для научного мышления в посттренировочной обработке

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

Авторы: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

Аннотация

Научное мышление имеет решающее значение для развития ИИ-учёных и поддержки человеческих исследователей в продвижении границ открытий в естественных науках. Однако сообщество open-source в основном сосредоточилось на математике и программировании, пренебрегая научной областью, во многом из-за отсутствия открытых, крупномасштабных, высококачественных и проверяемых наборов данных для научного рассуждения. Чтобы устранить этот пробел, мы представляем TextbookReasoning — открытый набор данных, содержащий достоверные эталонные ответы, извлечённые из 12 тысяч университетских научных учебников, включающий 650 тысяч вопросов для рассуждения, охватывающих 7 научных дисциплин. Мы также представляем MegaScience — крупномасштабный набор высококачественных открытых данных, содержащий 1,25 миллиона примеров, разработанный с помощью систематических исследований, которые оценивают различные методологии отбора данных для определения оптимального подмножества для каждого общедоступного научного набора данных. Одновременно мы создаём комплексную систему оценки, охватывающую разнообразные предметы и типы вопросов на 15 тестовых наборах, включая стратегии извлечения ответов для обеспечения точных метрик оценки. Наши эксперименты показывают, что наши наборы данных демонстрируют превосходную производительность и эффективность обучения с более лаконичными длинами ответов по сравнению с существующими открытыми научными наборами данных. Кроме того, мы обучаем базовые модели Llama3.1, Qwen2.5 и Qwen3 на MegaScience, которые значительно превосходят соответствующие официальные инструктивные модели по средним показателям. Более того, MegaScience демонстрирует большую эффективность для более крупных и мощных моделей, что указывает на преимущество масштабирования для научной настройки. Мы публикуем наш процесс подготовки данных, систему оценки, наборы данных и семь обученных моделей для сообщества, чтобы способствовать исследованиям в области научного рассуждения.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.