Confucius3-Math: Un Modelo de Lenguaje de Razonamiento Ligero y de Alto Rendimiento para el Aprendizaje de Matemáticas en la Educación Básica y Media China

Confucius3-Math: A Lightweight High-Performance Reasoning LLM for Chinese K-12 Mathematics Learning

June 23, 2025

Autores: Lixin Wu, Na Cai, Qiao Cheng, Jiachen Wang, Yitao Duan

cs.AI

Resumen

Presentamos Confucius3-Math, un modelo de lenguaje de gran escala de código abierto con 14 mil millones de parámetros que (1) se ejecuta eficientemente en una sola GPU de consumo; (2) alcanza rendimientos de vanguardia (SOTA) en una variedad de tareas de razonamiento matemático, superando a muchos modelos de tamaños significativamente mayores. En particular, como parte de nuestra misión de mejorar la educación y la difusión del conocimiento con IA, Confucius3-Math está específicamente comprometido con el aprendizaje de matemáticas para estudiantes y educadores chinos de K-12. Construido mediante entrenamiento posterior con aprendizaje por refuerzo (RL) a gran escala, Confucius3-Math se alinea con el currículo nacional y sobresale en la resolución de problemas matemáticos principales del K-12 chino con un bajo costo. En este informe compartimos nuestra receta de desarrollo, los desafíos que encontramos y las técnicas que desarrollamos para superarlos. En particular, introducimos tres innovaciones técnicas: Regularización de Entropía Dirigida, Recuperación de Muestras Recientes y Ponderación de Dificultad Específica de la Política. Estas innovaciones abarcan una nueva regularización de entropía, una política novedosa de programación de datos y un estimador mejorado de ventaja relativa grupal. Colectivamente, estas innovaciones estabilizan significativamente el entrenamiento de RL, mejoran la eficiencia de los datos y potencian el rendimiento. Nuestro trabajo demuestra la viabilidad de construir modelos de razonamiento sólidos en un dominio particular a bajo costo. Hemos abierto el código y el modelo en https://github.com/netease-youdao/Confucius3-Math.

English

We introduce Confucius3-Math, an open-source large language model with 14B parameters that (1) runs efficiently on a single consumer-grade GPU; (2) achieves SOTA performances on a range of mathematical reasoning tasks, outperforming many models with significantly larger sizes. In particular, as part of our mission to enhancing education and knowledge dissemination with AI, Confucius3-Math is specifically committed to mathematics learning for Chinese K-12 students and educators. Built via post-training with large-scale reinforcement learning (RL), Confucius3-Math aligns with national curriculum and excels at solving main-stream Chinese K-12 mathematical problems with low cost. In this report we share our development recipe, the challenges we encounter and the techniques we develop to overcome them. In particular, we introduce three technical innovations: Targeted Entropy Regularization, Recent Sample Recovery and Policy-Specific Hardness Weighting. These innovations encompass a new entropy regularization, a novel data scheduling policy, and an improved group-relative advantage estimator. Collectively, they significantly stabilize the RL training, improve data efficiency, and boost performance. Our work demonstrates the feasibility of building strong reasoning models in a particular domain at low cost. We open-source our model and code at https://github.com/netease-youdao/Confucius3-Math.