MegaScience: De Grenzen Verleggen van Post-Trainingsdatasets voor Wetenschappelijk Redeneren

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

Auteurs: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

Samenvatting

Wetenschappelijk redeneren is cruciaal voor het ontwikkelen van AI-wetenschappers en het ondersteunen van menselijke onderzoekers bij het verkennen van de grenzen van ontdekkingen in de natuurwetenschappen. De open-sourcegemeenschap heeft zich echter voornamelijk gericht op wiskunde en programmeren, terwijl het wetenschappelijke domein grotendeels is verwaarloosd, vooral vanwege het ontbreken van open, grootschalige, hoogwaardige en verifieerbare datasets voor wetenschappelijk redeneren. Om deze kloof te overbruggen, presenteren we eerst TextbookReasoning, een open dataset met waarheidsgetrouwe referentieantwoorden die zijn geëxtraheerd uit 12.000 wetenschappelijke studieboeken op universitair niveau, bestaande uit 650.000 redeneervragen die 7 wetenschappelijke disciplines bestrijken. Vervolgens introduceren we MegaScience, een grootschalige mix van hoogwaardige open-source datasets met in totaal 1,25 miljoen instanties, ontwikkeld door middel van systematische ablatiestudies die verschillende dataselectiemethodologieën evalueren om de optimale subset voor elke publiek beschikbare wetenschappelijke dataset te identificeren. Tegelijkertijd bouwen we een uitgebreid evaluatiesysteem dat diverse onderwerpen en vraagtypen bestrijkt over 15 benchmarks, waarbij uitgebreide antwoordextractiestrategieën worden geïntegreerd om nauwkeurige evaluatiemetrics te garanderen. Onze experimenten tonen aan dat onze datasets superieure prestaties en trainings efficiëntie bereiken met meer beknopte antwoordlengtes in vergelijking met bestaande open-source wetenschappelijke datasets. Bovendien trainen we Llama3.1, Qwen2.5 en Qwen3-serie basismodellen op MegaScience, die significant beter presteren dan de corresponderende officiële instructiemodellen in gemiddelde prestaties. Daarnaast blijkt MegaScience effectiever te zijn voor grotere en sterkere modellen, wat wijst op een schaalvoordeel voor wetenschappelijke afstemming. We stellen onze datacuratiepijplijn, evaluatiesysteem, datasets en zeven getrainde modellen beschikbaar aan de gemeenschap om onderzoek naar wetenschappelijk redeneren te bevorderen.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.