MegaCiência: Expandindo as Fronteiras dos Conjuntos de Dados Pós-Treinamento para o Raciocínio Científico

MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

July 22, 2025

Autores: Run-Ze Fan, Zengzhi Wang, Pengfei Liu

cs.AI

Resumo

O raciocínio científico é crucial para o desenvolvimento de cientistas de IA e para apoiar pesquisadores humanos no avanço das fronteiras da descoberta das ciências naturais. No entanto, a comunidade de código aberto tem se concentrado principalmente em matemática e programação, negligenciando o domínio científico, em grande parte devido à ausência de conjuntos de dados abertos, em larga escala, de alta qualidade e verificáveis para raciocínio científico. Para preencher essa lacuna, apresentamos primeiro o TextbookReasoning, um conjunto de dados aberto que contém respostas de referência confiáveis extraídas de 12 mil livros científicos de nível universitário, compreendendo 650 mil questões de raciocínio que abrangem 7 disciplinas científicas. Além disso, introduzimos o MegaScience, uma mistura em larga escala de conjuntos de dados de código aberto de alta qualidade, totalizando 1,25 milhão de instâncias, desenvolvido por meio de estudos de ablação sistemáticos que avaliam várias metodologias de seleção de dados para identificar o subconjunto ideal para cada conjunto de dados científico disponível publicamente. Paralelamente, construímos um sistema de avaliação abrangente que cobre diversos assuntos e tipos de questões em 15 benchmarks, incorporando estratégias abrangentes de extração de respostas para garantir métricas de avaliação precisas. Nossos experimentos demonstram que nossos conjuntos de dados alcançam desempenho superior e eficiência de treinamento com comprimentos de resposta mais concisos em comparação com os conjuntos de dados científicos de código aberto existentes. Além disso, treinamos os modelos base Llama3.1, Qwen2.5 e Qwen3 no MegaScience, que superam significativamente os modelos instruct oficiais correspondentes em desempenho médio. Adicionalmente, o MegaScience demonstra maior eficácia para modelos maiores e mais robustos, sugerindo um benefício de escalabilidade para ajuste científico. Disponibilizamos nossa pipeline de curadoria de dados, sistema de avaliação, conjuntos de dados e sete modelos treinados para a comunidade, a fim de avançar a pesquisa em raciocínio científico.

English

Scientific reasoning is critical for developing AI scientists and supporting human researchers in advancing the frontiers of natural science discovery. However, the open-source community has primarily focused on mathematics and coding while neglecting the scientific domain, largely due to the absence of open, large-scale, high-quality, verifiable scientific reasoning datasets. To bridge this gap, we first present TextbookReasoning, an open dataset featuring truthful reference answers extracted from 12k university-level scientific textbooks, comprising 650k reasoning questions spanning 7 scientific disciplines. We further introduce MegaScience, a large-scale mixture of high-quality open-source datasets totaling 1.25 million instances, developed through systematic ablation studies that evaluate various data selection methodologies to identify the optimal subset for each publicly available scientific dataset. Meanwhile, we build a comprehensive evaluation system covering diverse subjects and question types across 15 benchmarks, incorporating comprehensive answer extraction strategies to ensure accurate evaluation metrics. Our experiments demonstrate that our datasets achieve superior performance and training efficiency with more concise response lengths compared to existing open-source scientific datasets. Furthermore, we train Llama3.1, Qwen2.5, and Qwen3 series base models on MegaScience, which significantly outperform the corresponding official instruct models in average performance. In addition, MegaScience exhibits greater effectiveness for larger and stronger models, suggesting a scaling benefit for scientific tuning. We release our data curation pipeline, evaluation system, datasets, and seven trained models to the community to advance scientific reasoning research.