メガサイエンス：科学推論のためのポストトレーニングデータセットのフロンティアを押し広げる

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

著者: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

要旨

科学的推論は、AI科学者の育成と人間の研究者が自然科学の発見の最前線を進める上で極めて重要です。しかし、オープンソースコミュニティは主に数学とコーディングに焦点を当てており、科学的領域を軽視してきました。これは主に、オープンで大規模かつ高品質で検証可能な科学的推論データセットの欠如によるものです。このギャップを埋めるため、まずTextbookReasoningを紹介します。これは12,000冊の大学レベルの科学教科書から抽出された真実の参照回答を特徴とするオープンデータセットで、7つの科学分野にわたる65万の推論問題を含んでいます。さらに、MegaScienceを導入します。これは1.25百万インスタンスの高品質オープンソースデータセットの大規模な混合物で、公開されている各科学データセットの最適なサブセットを特定するための体系的なアブレーション研究を通じて開発されました。一方で、15のベンチマークにわたる多様な科目と質問タイプをカバーする包括的な評価システムを構築し、正確な評価指標を確保するための包括的な回答抽出戦略を組み込みました。私たちの実験では、既存のオープンソース科学データセットと比較して、私たちのデータセットが優れた性能とトレーニング効率を達成し、より簡潔な応答長を示すことが実証されました。さらに、Llama3.1、Qwen2.5、Qwen3シリーズのベースモデルをMegaScienceでトレーニングし、対応する公式のinstructモデルを平均性能で大幅に上回りました。加えて、MegaScienceはより大きく強力なモデルに対してより効果的であり、科学的チューニングのスケーリング効果を示唆しています。私たちは、科学的推論研究を進めるため、データキュレーションパイプライン、評価システム、データセット、および7つのトレーニング済みモデルをコミュニティに公開します。

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.