SwS: Síntesis de Problemas Autoconsciente Basada en Debilidades en Aprendizaje por Refuerzo para el Razonamiento de Modelos de Lenguaje Grande

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning

June 10, 2025

Autores: Xiao Liang, Zhong-Zhi Li, Yeyun Gong, Yang Wang, Hengyuan Zhang, Yelong Shen, Ying Nian Wu, Weizhu Chen

cs.AI

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha demostrado ser efectivo para entrenar modelos de lenguaje de gran escala (LLMs) en tareas de razonamiento complejo, como la resolución de problemas matemáticos. Un requisito previo para la escalabilidad de RLVR es un conjunto de problemas de alta calidad con respuestas precisas y verificables. Sin embargo, la escasez de problemas matemáticos bien elaborados y etiquetados por humanos, junto con respuestas de verificación limitada en los conjuntos de datos sintéticos orientados a la destilación existentes, limita su efectividad en el aprendizaje por refuerzo. Además, la mayoría de las estrategias de síntesis de problemas expanden indiscriminadamente el conjunto de problemas sin considerar las capacidades del modelo, lo que resulta en una baja eficiencia al generar preguntas útiles. Para mitigar este problema, presentamos un marco de Síntesis de Problemas Autoconsciente y Orientado a Debilidades (SwS, por sus siglas en inglés) que identifica sistemáticamente las deficiencias del modelo y las aprovecha para la ampliación de problemas. Específicamente, definimos las debilidades como preguntas que el modelo no logra aprender consistentemente a través de su muestreo iterativo durante el entrenamiento de RL. Luego, extraemos los conceptos centrales de estos casos de fallo y sintetizamos nuevos problemas para fortalecer las áreas débiles del modelo en entrenamientos posteriores ampliados, permitiéndole enfocarse y superar gradualmente sus debilidades. Sin depender de la destilación de conocimiento externo, nuestro marco permite una generalización robusta al capacitar al modelo para autoidentificar y abordar sus debilidades en RL, logrando mejoras promedio en el rendimiento del 10.0% y 7.7% en modelos de 7B y 32B, respectivamente, en ocho benchmarks principales de razonamiento.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for training large language models (LLMs) on complex reasoning tasks, such as mathematical problem solving. A prerequisite for the scalability of RLVR is a high-quality problem set with precise and verifiable answers. However, the scarcity of well-crafted human-labeled math problems and limited-verification answers in existing distillation-oriented synthetic datasets limit their effectiveness in RL. Additionally, most problem synthesis strategies indiscriminately expand the problem set without considering the model's capabilities, leading to low efficiency in generating useful questions. To mitigate this issue, we introduce a Self-aware Weakness-driven problem Synthesis framework (SwS) that systematically identifies model deficiencies and leverages them for problem augmentation. Specifically, we define weaknesses as questions that the model consistently fails to learn through its iterative sampling during RL training. We then extract the core concepts from these failure cases and synthesize new problems to strengthen the model's weak areas in subsequent augmented training, enabling it to focus on and gradually overcome its weaknesses. Without relying on external knowledge distillation, our framework enables robust generalization byempowering the model to self-identify and address its weaknesses in RL, yielding average performance gains of 10.0% and 7.7% on 7B and 32B models across eight mainstream reasoning benchmarks.