孔子3-Math：中国K-12数学学習向けの軽量高性能推論LLM

Confucius3-Math: A Lightweight High-Performance Reasoning LLM for Chinese K-12 Mathematics Learning

June 23, 2025

著者: Lixin Wu, Na Cai, Qiao Cheng, Jiachen Wang, Yitao Duan

cs.AI

要旨

私たちは、Confucius3-Mathというオープンソースの大規模言語モデルを紹介します。このモデルは140億のパラメータを持ち、(1) 単一のコンシューマー向けGPUで効率的に動作し、(2) 数学的推論タスクにおいてSOTA（State-of-the-Art）の性能を達成し、はるかに大規模なモデルを凌駕します。特に、AIを用いて教育と知識の普及を促進するという使命の一環として、Confucius3-Mathは中国のK-12（幼稚園から高校まで）の学生と教育者向けの数学学習に特化しています。大規模な強化学習（RL）を用いたポストトレーニングによって構築されたConfucius3-Mathは、国家カリキュラムに準拠し、主流の中国K-12数学問題を低コストで解決する能力に優れています。本報告では、開発のレシピ、遭遇した課題、そしてそれらを克服するために開発した技術を共有します。特に、3つの技術的革新を紹介します：Targeted Entropy Regularization（ターゲットエントロピー正則化）、Recent Sample Recovery（最近のサンプル回復）、Policy-Specific Hardness Weighting（ポリシー固有の難易度重み付け）。これらの革新は、新しいエントロピー正則化、革新的なデータスケジューリングポリシー、および改善されたグループ相対的アドバンテージ推定器を含みます。これらは全体として、RLトレーニングを大幅に安定させ、データ効率を向上させ、性能を向上させます。私たちの研究は、特定のドメインにおいて強力な推論モデルを低コストで構築する可能性を示しています。モデルとコードはhttps://github.com/netease-youdao/Confucius3-Mathでオープンソースとして公開しています。

English

We introduce Confucius3-Math, an open-source large language model with 14B parameters that (1) runs efficiently on a single consumer-grade GPU; (2) achieves SOTA performances on a range of mathematical reasoning tasks, outperforming many models with significantly larger sizes. In particular, as part of our mission to enhancing education and knowledge dissemination with AI, Confucius3-Math is specifically committed to mathematics learning for Chinese K-12 students and educators. Built via post-training with large-scale reinforcement learning (RL), Confucius3-Math aligns with national curriculum and excels at solving main-stream Chinese K-12 mathematical problems with low cost. In this report we share our development recipe, the challenges we encounter and the techniques we develop to overcome them. In particular, we introduce three technical innovations: Targeted Entropy Regularization, Recent Sample Recovery and Policy-Specific Hardness Weighting. These innovations encompass a new entropy regularization, a novel data scheduling policy, and an improved group-relative advantage estimator. Collectively, they significantly stabilize the RL training, improve data efficiency, and boost performance. Our work demonstrates the feasibility of building strong reasoning models in a particular domain at low cost. We open-source our model and code at https://github.com/netease-youdao/Confucius3-Math.