SwS: Síntese de Problemas Orientada por Autoconsciência de Fraquezas no Aprendizado por Reforço para Raciocínio em LLMs

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

June 10, 2025

Autores: Xiao Liang, Zhong-Zhi Li, Yeyun Gong, Yang Wang, Hengyuan Zhang, Yelong Shen, Ying Nian Wu, Weizhu Chen

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem se mostrado eficaz para treinar grandes modelos de linguagem (LLMs) em tarefas complexas de raciocínio, como a resolução de problemas matemáticos. Um pré-requisito para a escalabilidade do RLVR é um conjunto de problemas de alta qualidade com respostas precisas e verificáveis. No entanto, a escassez de problemas matemáticos bem elaborados e rotulados por humanos, além das respostas de verificação limitada em conjuntos de dados sintéticos orientados à destilação, restringem sua eficácia no aprendizado por reforço. Além disso, a maioria das estratégias de síntese de problemas expande indiscriminadamente o conjunto de problemas sem considerar as capacidades do modelo, resultando em baixa eficiência na geração de questões úteis. Para mitigar esse problema, introduzimos um framework de Síntese de Problemas Orientada por Autoconsciência de Fraquezas (SwS), que identifica sistematicamente as deficiências do modelo e as utiliza para a ampliação de problemas. Especificamente, definimos fraquezas como questões que o modelo consistentemente falha em aprender durante sua amostragem iterativa no treinamento de RL. Em seguida, extraímos os conceitos centrais desses casos de falha e sintetizamos novos problemas para fortalecer as áreas fracas do modelo em treinamentos subsequentes ampliados, permitindo que ele se concentre e supere gradualmente suas fraquezas. Sem depender de destilação de conhecimento externa, nosso framework possibilita uma generalização robusta ao capacitar o modelo a autoidentificar e abordar suas fraquezas no RL, resultando em ganhos médios de desempenho de 10,0% e 7,7% em modelos de 7B e 32B em oito benchmarks principais de raciocínio.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.