Mejora en el Diseño de Datos y Recompensas para el Razonamiento Científico en Modelos de Lenguaje a Gran Escala

Improving Data and Reward Design for Scientific Reasoning in Large Language Models

February 9, 2026

Autores: Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng

cs.AI

Resumen

La resolución de preguntas científicas de respuesta abierta sigue siendo un desafío para los grandes modelos de lenguaje, particularmente debido a la supervisión y evaluación inherentemente poco confiables. El cuello de botella radica en la construcción de datos y el diseño de recompensas para el post-entrenamiento científico. Desarrollamos un pipeline sistemático de procesamiento de datos a gran escala que transforma datos científicos heterogéneos de código abierto en el conjunto de datos Dr. SCI, que comprende 1 millón de preguntas en ocho materias STEM, con divisiones explícitas verificables/de respuesta abierta, anotación escalable de dificultad y rúbricas detalladas que operacionalizan la evaluación para respuestas abiertas. Basándonos en este conjunto de datos, proponemos el pipeline de post-entrenamiento Dr. SCI, que rediseña el flujo de trabajo estándar SFT -> RL mediante tres componentes: (i) SFT de Expansión de Exploración, que amplía la cobertura de patrones de razonamiento del modelo antes del RL; (ii) Plan de Estudios de Dificultad Dinámica, que adapta los datos de entrenamiento a la capacidad científica en evolución del modelo; y (iii) RL Guiado por SciRubric, que permite un aprendizaje por refuerzo estable en preguntas científicas de respuesta abierta mediante evaluación basada en rúbricas con corrección explícita de respuestas. Qwen3-4B-Base entrenado utilizando el pipeline Dr. SCI alcanza 63.2 en GPQA-diamond y 32.4 en GPQA-general, mejorando consistentemente respecto a líneas base fuertemente post-entrenadas como o1-mini y GPT-4o, lo que demuestra ganancias sustanciales en el razonamiento científico, especialmente en entornos de respuesta abierta.

English

Solving open-ended science questions remains challenging for large language models, particularly due to inherently unreliable supervision and evaluation. The bottleneck lies in the data construction and reward design for scientific post-training. We develop a large-scale, systematic data processing pipeline that transforms heterogeneous open-source science data into Dr. SCI dataset, which comprises of 1M questions across eight STEM subjects, with explicit verifiable/open-ended splits, scalable difficulty annotation, and fine-grained rubrics that operationalize evaluation for open-ended answers. Building on this dataset, we propose the Dr. SCI post-training pipeline, which redesigns the standard SFT -> RL workflow through three components: (i) Exploration-Expanding SFT, which broadens the model's reasoning pattern coverage prior to RL; (ii) Dynamic Difficulty Curriculum, which adapts training data to the model's evolving scientific capability; and (iii) SciRubric-Guided RL, which enables stable reinforcement learning on open-ended scientific questions via rubric-based evaluation with explicit answer correctness. Qwen3-4B-Base trained using Dr. SCI pipeline achieves 63.2 on GPQA-diamond and 32.4 on GPQA-general, consistently improves over strong post-trained baselines such as o1-mini and GPT-4o, demonstrating substantial gains in scientific reasoning, especially in open-ended settings.