SwS: 大規模言語モデル推論のための強化学習における自己認識的弱点駆動型問題合成

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

June 10, 2025

著者: Xiao Liang, Zhong-Zhi Li, Yeyun Gong, Yang Wang, Hengyuan Zhang, Yelong Shen, Ying Nian Wu, Weizhu Chen

cs.AI

要旨

検証可能な報酬を伴う強化学習（Reinforcement Learning with Verifiable Rewards, RLVR）は、数学的問題解決などの複雑な推論タスクにおいて大規模言語モデル（LLMs）を訓練するために有効であることが証明されている。RLVRのスケーラビリティを実現するためには、正確かつ検証可能な解答を伴う高品質な問題セットが前提条件となる。しかし、既存の蒸留指向の合成データセットでは、精巧に人間がラベル付けした数学的問題や限定的な検証が可能な解答が不足しており、これがRLにおける効果を制限している。さらに、ほとんどの問題合成戦略は、モデルの能力を考慮せずに問題セットを無差別に拡張するため、有用な問題を生成する効率が低い。この問題を緩和するため、本研究では、モデルの欠陥を体系的に特定し、それを問題拡張に活用する「自己認識型弱点駆動問題合成フレームワーク（Self-aware Weakness-driven problem Synthesis framework, SwS）」を提案する。具体的には、弱点を、RL訓練中の反復サンプリングを通じてモデルが一貫して学習に失敗する問題と定義する。次に、これらの失敗事例から中核概念を抽出し、新たな問題を合成して、モデルの弱点領域を強化するための拡張訓練を実施し、モデルが自身の弱点に焦点を当てて徐々に克服できるようにする。外部の知識蒸頼に依存することなく、本フレームワークはモデルがRLにおいて自身の弱点を自己識別し、対処する能力を強化することで、堅牢な汎化を可能にする。その結果、7Bおよび32Bモデルにおいて、8つの主要な推論ベンチマークで平均10.0％および7.7％の性能向上を達成した。

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.