RL con Datos Sintéticos: La Definición de la Tarea es Todo lo que Necesitas

Synthetic Data RL: Task Definition Is All You Need

May 18, 2025

Autores: Yiduo Guo, Zhen Guo, Chuanwei Huang, Zi-Ang Wang, Zekai Zhang, Haofei Yu, Huishuai Zhang, Yikang Shen

cs.AI

Resumen

El aprendizaje por refuerzo (RL, por sus siglas en inglés) es una forma poderosa de adaptar modelos base a tareas especializadas, pero su dependencia de datos etiquetados por humanos a gran escala limita su adopción generalizada. Presentamos Synthetic Data RL, un marco simple y general que ajusta modelos mediante refuerzo utilizando únicamente datos sintéticos generados a partir de una definición de tarea. Nuestro método primero genera pares de preguntas y respuestas a partir de la definición de la tarea y documentos recuperados, luego adapta la dificultad de la pregunta según la capacidad de resolución del modelo, y selecciona preguntas utilizando la tasa de acierto promedio del modelo en las muestras para el entrenamiento de RL. En Qwen-2.5-7B, nuestro método logra una mejora absoluta del 29.2% sobre el modelo base en GSM8K (+2.9 pp frente al ajuste por instrucción, +6.6 pp frente a Self-Instruct), 8.7% en MATH, 13.1% en GPQA (+7.0 pp frente a SynthLLM), 8.9% en MedQA, 17.7% en CQA (derecho) y 13.7% en CFA (finanzas). Supera el ajuste fino supervisado con el mismo presupuesto de datos y casi iguala al RL con datos humanos completos en todos los conjuntos de datos (por ejemplo, +17.2 pp en GSM8K). Agregar 100 demostraciones humanas mejora el rendimiento de GSM8K solo en 0.4 pp, mostrando un valor agregado limitado. Al reducir la anotación de datos humanos, Synthetic Data RL permite una adaptación de modelos basada en RL escalable y eficiente. El código y las demostraciones están disponibles en https://github.com/gydpku/Data_Synthesis_RL/.

English

Reinforcement learning (RL) is a powerful way to adapt foundation models to specialized tasks, but its reliance on large-scale human-labeled data limits broad adoption. We introduce Synthetic Data RL, a simple and general framework that reinforcement fine-tunes models using only synthetic data generated from a task definition. Our method first generates question and answer pairs from the task definition and retrieved documents, then adapts the difficulty of the question based on model solvability, and selects questions using the average pass rate of the model across samples for RL training. On Qwen-2.5-7B, our method achieves a 29.2% absolute improvement over the base model on GSM8K (+2.9 pp vs. instruction-tuned, +6.6 pp vs. Self-Instruct), 8.7% on MATH, 13.1% on GPQA (+7.0 pp vs. SynthLLM), 8.9% on MedQA, 17.7% on CQA (law) and 13.7% on CFA (finance). It surpasses supervised fine-tuning under the same data budget and nearly matches RL with full human data across datasets (e.g., +17.2 pp on GSM8K). Adding 100 human demonstrations improves the performance of GSM8K only by 0.4 pp, showing a limited added value. By reducing human data annotation, Synthetic Data RL enables scalable and efficient RL-based model adaptation. Code and demos are available at https://github.com/gydpku/Data_Synthesis_RL/.