MegaCiencia: Expandiendo las Fronteras de los Conjuntos de Datos para el Razonamiento Científico Post-Entrenamiento

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

Autores: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

Resumen

El razonamiento científico es crucial para desarrollar científicos de IA y apoyar a los investigadores humanos en la expansión de las fronteras del descubrimiento en las ciencias naturales. Sin embargo, la comunidad de código abierto se ha centrado principalmente en las matemáticas y la programación, descuidando el dominio científico, en gran parte debido a la ausencia de conjuntos de datos de razonamiento científico abiertos, de gran escala, de alta calidad y verificables. Para cerrar esta brecha, primero presentamos TextbookReasoning, un conjunto de datos abierto que incluye respuestas de referencia veraces extraídas de 12 mil libros de texto científicos de nivel universitario, que abarcan 650 mil preguntas de razonamiento en 7 disciplinas científicas. Además, introducimos MegaScience, una mezcla a gran escala de conjuntos de datos de código abierto de alta calidad que totalizan 1.25 millones de instancias, desarrollados mediante estudios de ablación sistemáticos que evalúan diversas metodologías de selección de datos para identificar el subconjunto óptimo de cada conjunto de datos científico disponible públicamente. Paralelamente, construimos un sistema de evaluación integral que cubre diversos temas y tipos de preguntas en 15 benchmarks, incorporando estrategias completas de extracción de respuestas para garantizar métricas de evaluación precisas. Nuestros experimentos demuestran que nuestros conjuntos de datos logran un rendimiento superior y una eficiencia de entrenamiento con longitudes de respuesta más concisas en comparación con los conjuntos de datos científicos de código abierto existentes. Además, entrenamos los modelos base de las series Llama3.1, Qwen2.5 y Qwen3 en MegaScience, los cuales superan significativamente a los modelos instruct oficiales correspondientes en rendimiento promedio. Adicionalmente, MegaScience muestra mayor efectividad para modelos más grandes y potentes, sugiriendo un beneficio de escalabilidad para el ajuste científico. Liberamos nuestra pipeline de curación de datos, sistema de evaluación, conjuntos de datos y siete modelos entrenados a la comunidad para impulsar la investigación en razonamiento científico.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.