SwS: LLM 추론을 위한 강화 학습에서 자기 인식 약점 기반 문제 합성

초록

검증 가능한 보상을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)은 수학 문제 해결과 같은 복잡한 추론 과제에서 대규모 언어 모델(Large Language Models, LLMs)을 훈련하는 데 효과적인 것으로 입증되었습니다. RLVR의 확장성을 위해서는 정확하고 검증 가능한 답변이 포함된 고품질 문제 세트가 필수적입니다. 그러나 기존의 증류 중심 합성 데이터셋에는 잘 구성된 인간 라벨링 수학 문제와 제한된 검증 가능한 답변이 부족하여 RL에서의 효과가 제한적입니다. 또한, 대부분의 문제 합성 전략은 모델의 능력을 고려하지 않고 무분별하게 문제 세트를 확장하여 유용한 질문을 생성하는 데 있어 효율성이 낮습니다. 이러한 문제를 완화하기 위해, 우리는 모델의 결함을 체계적으로 식별하고 이를 문제 증강에 활용하는 자기 인식 약점 기반 문제 합성 프레임워크(Self-aware Weakness-driven problem Synthesis framework, SwS)를 소개합니다. 구체적으로, 우리는 RL 훈련 중 반복적 샘플링을 통해 모델이 지속적으로 학습하지 못하는 질문을 약점으로 정의합니다. 그런 다음 이러한 실패 사례에서 핵심 개념을 추출하고 새로운 문제를 합성하여 후속 증강 훈련에서 모델의 약점을 강화함으로써 모델이 자신의 약점에 집중하고 점차 극복할 수 있도록 합니다. 외부 지식 증류에 의존하지 않고, 우리의 프레임워크는 모델이 RL에서 스스로 약점을 식별하고 해결할 수 있도록 함으로써 견고한 일반화를 가능하게 하며, 7B 및 32B 모델에서 8개의 주요 추론 벤치마크에서 평균 10.0% 및 7.7%의 성능 향상을 달성합니다.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.

SwS: LLM 추론을 위한 강화 학습에서 자기 인식 약점 기반 문제 합성

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

초록

Support