SwS: Selbstbewusste Schwächenbasierte Problemgenerierung im Reinforcement Learning für das Schlussfolgern mit LLMs

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

June 10, 2025

Autoren: Xiao Liang, Zhong-Zhi Li, Yeyun Gong, Yang Wang, Hengyuan Zhang, Yelong Shen, Ying Nian Wu, Weizhu Chen

cs.AI

Zusammenfassung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als effektiv erwiesen, um große Sprachmodelle (LLMs) für komplexe Denkaufgaben, wie das Lösen mathematischer Probleme, zu trainieren. Eine Voraussetzung für die Skalierbarkeit von RLVR ist ein hochwertiger Problemsatz mit präzisen und verifizierbaren Antworten. Allerdings begrenzt die Knappheit von sorgfältig erstellten, menschlich annotierten mathematischen Problemen und die eingeschränkte Verifizierbarkeit von Antworten in bestehenden, auf Destillation ausgerichteten synthetischen Datensätzen deren Effektivität im RL. Darüber hinaus erweitern die meisten Problem-Synthese-Strategien den Problemsatz ungezielt, ohne die Fähigkeiten des Modells zu berücksichtigen, was zu einer geringen Effizienz bei der Generierung nützlicher Fragen führt. Um dieses Problem zu mildern, führen wir ein selbstbewusstes, schwächenorientiertes Problem-Synthese-Framework (SwS) ein, das systematisch Modellschwächen identifiziert und diese zur Problemverstärkung nutzt. Konkret definieren wir Schwächen als Fragen, die das Modell während des iterativen Samplings im RL-Training konsequent nicht erlernen kann. Anschließend extrahieren wir die Kernkonzepte aus diesen Fehlfällen und synthetisieren neue Probleme, um die schwachen Bereiche des Modells in nachfolgenden, erweiterten Trainingsphasen zu stärken, wodurch es in die Lage versetzt wird, sich auf seine Schwächen zu konzentrieren und diese schrittweise zu überwinden. Ohne auf externe Wissensdestillation angewiesen zu sein, ermöglicht unser Framework eine robuste Generalisierung, indem das Modell befähigt wird, seine Schwächen im RL selbst zu identifizieren und zu beheben, was durchschnittliche Leistungssteigerungen von 10,0 % und 7,7 % bei 7B- und 32B-Modellen über acht gängige Denkbenchmarks hinweg erzielt.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.