SwS: Zelfbewuste zwakte-gestuurde probleemsynthese in reinforcement learning voor LLM-redenering

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

June 10, 2025

Auteurs: Xiao Liang, Zhong-Zhi Li, Yeyun Gong, Yang Wang, Hengyuan Zhang, Yelong Shen, Ying Nian Wu, Weizhu Chen

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft zich effectief bewezen bij het trainen van grote taalmodellen (LLM's) voor complexe redeneertaken, zoals het oplossen van wiskundige problemen. Een voorwaarde voor de schaalbaarheid van RLVR is een hoogwaardige probleemset met precieze en verifieerbare antwoorden. Echter, de schaarste aan goed geconstrueerde, door mensen gelabelde wiskundeproblemen en antwoorden met beperkte verificatie in bestaande synthetische datasets gericht op distillatie beperken hun effectiviteit in RL. Bovendien breiden de meeste strategieën voor probleemsynthese de probleemset ongericht uit zonder rekening te houden met de capaciteiten van het model, wat leidt tot een lage efficiëntie bij het genereren van nuttige vragen. Om dit probleem te verlichten, introduceren we een Self-aware Weakness-driven probleem Synthese framework (SwS) dat systematisch modeltekortkomingen identificeert en deze benut voor probleemaugmentatie. Specifiek definiëren we zwaktes als vragen die het model consistent niet kan leren door zijn iteratieve steekproeven tijdens RL-training. Vervolgens extraheren we de kernconcepten uit deze mislukkingen en synthetiseren we nieuwe problemen om de zwakke punten van het model te versterken in daaropvolgende augmented training, waardoor het zich kan concentreren op en geleidelijk zijn zwaktes kan overwinnen. Zonder afhankelijk te zijn van externe kennisdistillatie, stelt ons framework het model in staat om robuuste generalisatie te bereiken door het zelf zijn zwaktes te laten identificeren en aan te pakken in RL, wat resulteert in gemiddelde prestatieverbeteringen van 10,0% en 7,7% op 7B- en 32B-modellen over acht mainstream redeneerbenchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.