Confucius3-Math: Легковесная высокопроизводительная языковая модель для логических рассуждений в области изучения математики в китайских школах (K-12)

Confucius3-Math: A Lightweight High-Performance Reasoning LLM for Chinese K-12 Mathematics Learning

June 23, 2025

Авторы: Lixin Wu, Na Cai, Qiao Cheng, Jiachen Wang, Yitao Duan

cs.AI

Аннотация

Мы представляем Confucius3-Math — открытую языковую модель с 14 миллиардами параметров, которая (1) эффективно работает на одном потребительском графическом процессоре; (2) демонстрирует наилучшие результаты (SOTA) на широком спектре задач математического рассуждения, превосходя многие модели значительно большего размера. В рамках нашей миссии по улучшению образования и распространения знаний с помощью ИИ, Confucius3-Math специально ориентирована на изучение математики китайскими школьниками и преподавателями K-12. Модель создана с использованием пост-обучения на основе масштабного обучения с подкреплением (RL) и соответствует национальной учебной программе, превосходно справляясь с решением типичных задач китайской школьной математики K-12 при низких затратах. В этом отчете мы делимся нашим подходом к разработке, трудностями, с которыми столкнулись, и методами, которые разработали для их преодоления. В частности, мы представляем три технических новшества: Целевая регуляризация энтропии, Восстановление недавних образцов и Взвешивание сложности для конкретной политики. Эти инновации включают новую регуляризацию энтропии, оригинальную политику планирования данных и улучшенный оценщик группового относительного преимущества. В совокупности они значительно стабилизируют обучение с подкреплением, повышают эффективность использования данных и улучшают производительность. Наша работа демонстрирует возможность создания мощных моделей рассуждений в конкретной области при низких затратах. Мы открываем исходный код модели и её реализации по адресу https://github.com/netease-youdao/Confucius3-Math.

English

We introduce Confucius3-Math, an open-source large language model with 14B parameters that (1) runs efficiently on a single consumer-grade GPU; (2) achieves SOTA performances on a range of mathematical reasoning tasks, outperforming many models with significantly larger sizes. In particular, as part of our mission to enhancing education and knowledge dissemination with AI, Confucius3-Math is specifically committed to mathematics learning for Chinese K-12 students and educators. Built via post-training with large-scale reinforcement learning (RL), Confucius3-Math aligns with national curriculum and excels at solving main-stream Chinese K-12 mathematical problems with low cost. In this report we share our development recipe, the challenges we encounter and the techniques we develop to overcome them. In particular, we introduce three technical innovations: Targeted Entropy Regularization, Recent Sample Recovery and Policy-Specific Hardness Weighting. These innovations encompass a new entropy regularization, a novel data scheduling policy, and an improved group-relative advantage estimator. Collectively, they significantly stabilize the RL training, improve data efficiency, and boost performance. Our work demonstrates the feasibility of building strong reasoning models in a particular domain at low cost. We open-source our model and code at https://github.com/netease-youdao/Confucius3-Math.