MegaScience: Die Grenzen von Nachschulungsdatensätzen für wissenschaftliches Denken erweitern

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

papers.authors: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

papers.abstract

Wissenschaftliches Denken ist entscheidend für die Entwicklung von KI-Wissenschaftlern und die Unterstützung menschlicher Forscher bei der Erweiterung der Grenzen der naturwissenschaftlichen Entdeckungen. Die Open-Source-Community hat sich jedoch hauptsächlich auf Mathematik und Programmierung konzentriert, während der wissenschaftliche Bereich vernachlässigt wurde, was größtenteils auf das Fehlen offener, groß angelegter, hochwertiger und überprüfbarer Datensätze für wissenschaftliches Denken zurückzuführen ist. Um diese Lücke zu schließen, stellen wir zunächst TextbookReasoning vor, einen offenen Datensatz mit zuverlässigen Referenzantworten, die aus 12.000 universitären wissenschaftlichen Lehrbüchern extrahiert wurden und 650.000 Denkfragen aus 7 wissenschaftlichen Disziplinen umfassen. Darüber hinaus führen wir MegaScience ein, eine groß angelegte Mischung hochwertiger Open-Source-Datensätze mit insgesamt 1,25 Millionen Instanzen, die durch systematische Ablationsstudien entwickelt wurden, um verschiedene Datenauswahlmethoden zu bewerten und die optimale Teilmenge für jeden öffentlich verfügbaren wissenschaftlichen Datensatz zu identifizieren. Gleichzeitig haben wir ein umfassendes Bewertungssystem aufgebaut, das verschiedene Themen und Fragetypen über 15 Benchmarks abdeckt und umfassende Strategien zur Antwortextraktion integriert, um genaue Bewertungsmetriken sicherzustellen. Unsere Experimente zeigen, dass unsere Datensätze im Vergleich zu bestehenden Open-Source-wissenschaftlichen Datensätzen eine überlegene Leistung und Trainings effizienz bei kürzeren Antwortlängen erzielen. Darüber hinaus trainieren wir die Basismodelle der Llama3.1-, Qwen2.5- und Qwen3-Serie auf MegaScience, die in der durchschnittlichen Leistung die entsprechenden offiziellen Instruct-Modelle deutlich übertreffen. Zudem zeigt MegaScience eine größere Wirksamkeit für größere und stärkere Modelle, was auf einen Skalierungsvorteil für wissenschaftliches Fine-Tuning hindeutet. Wir stellen unsere Datenkuratierungspipeline, das Bewertungssystem, die Datensätze und sieben trainierte Modelle der Community zur Verfügung, um die Forschung im Bereich des wissenschaftlichen Denkens voranzutreiben.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.