MegaScience: Spingere le Frontiere dei Dataset Post-Addestramento per il Ragionamento Scientifico

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

Autori: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

Abstract

Il ragionamento scientifico è fondamentale per sviluppare scienziati AI e supportare i ricercatori umani nell'avanzare le frontiere della scoperta nelle scienze naturali. Tuttavia, la comunità open-source si è principalmente concentrata sulla matematica e sulla programmazione, trascurando il dominio scientifico, principalmente a causa dell'assenza di dataset aperti, su larga scala, di alta qualità e verificabili per il ragionamento scientifico. Per colmare questa lacuna, presentiamo innanzitutto TextbookReasoning, un dataset aperto che include risposte di riferimento veritiere estratte da 12.000 libri di testo scientifici universitari, comprendente 650.000 domande di ragionamento che coprono 7 discipline scientifiche. Introduciamo inoltre MegaScience, una miscela su larga scala di dataset open-source di alta qualità per un totale di 1,25 milioni di istanze, sviluppata attraverso studi di ablazione sistematici che valutano varie metodologie di selezione dei dati per identificare il sottoinsieme ottimale per ciascun dataset scientifico disponibile pubblicamente. Nel frattempo, costruiamo un sistema di valutazione completo che copre diverse materie e tipi di domande su 15 benchmark, incorporando strategie complete di estrazione delle risposte per garantire metriche di valutazione accurate. I nostri esperimenti dimostrano che i nostri dataset raggiungono prestazioni superiori e un'efficienza di addestramento maggiore con lunghezze di risposta più concise rispetto ai dataset scientifici open-source esistenti. Inoltre, addestriamo i modelli base delle serie Llama3.1, Qwen2.5 e Qwen3 su MegaScience, che superano significativamente in media i corrispondenti modelli ufficiali instruct. In aggiunta, MegaScience mostra una maggiore efficacia per modelli più grandi e potenti, suggerendo un vantaggio di scalabilità per l'ottimizzazione scientifica. Rilasciamo alla comunità la nostra pipeline di curatela dei dati, il sistema di valutazione, i dataset e sette modelli addestrati per promuovere la ricerca sul ragionamento scientifico.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.