RL com Dados Sintéticos: A Definição da Tarefa é Tudo o que Você Precisa

Resumo

O aprendizado por reforço (RL) é uma abordagem poderosa para adaptar modelos de base a tarefas especializadas, mas sua dependência de dados em grande escala rotulados por humanos limita sua adoção ampla. Introduzimos o Synthetic Data RL, uma estrutura simples e geral que ajusta modelos por reforço utilizando apenas dados sintéticos gerados a partir de uma definição de tarefa. Nosso método primeiro gera pares de perguntas e respostas a partir da definição da tarefa e de documentos recuperados, depois adapta a dificuldade da pergunta com base na capacidade de resolução do modelo, e seleciona perguntas usando a taxa média de acerto do modelo em amostras para o treinamento de RL. No Qwen-2.5-7B, nosso método alcança uma melhoria absoluta de 29,2% em relação ao modelo base no GSM8K (+2,9 pp vs. ajuste por instrução, +6,6 pp vs. Self-Instruct), 8,7% no MATH, 13,1% no GPQA (+7,0 pp vs. SynthLLM), 8,9% no MedQA, 17,7% no CQA (direito) e 13,7% no CFA (finanças). Ele supera o ajuste fino supervisionado sob o mesmo orçamento de dados e quase iguala o RL com dados humanos completos em diversos conjuntos de dados (por exemplo, +17,2 pp no GSM8K). A adição de 100 demonstrações humanas melhora o desempenho do GSM8K em apenas 0,4 pp, mostrando um valor agregado limitado. Ao reduzir a anotação de dados humanos, o Synthetic Data RL permite uma adaptação escalável e eficiente de modelos baseada em RL. Código e demonstrações estão disponíveis em https://github.com/gydpku/Data_Synthesis_RL/.

English

Reinforcement learning (RL) is a powerful way to adapt foundation models to specialized tasks, but its reliance on large-scale human-labeled data limits broad adoption. We introduce Synthetic Data RL, a simple and general framework that reinforcement fine-tunes models using only synthetic data generated from a task definition. Our method first generates question and answer pairs from the task definition and retrieved documents, then adapts the difficulty of the question based on model solvability, and selects questions using the average pass rate of the model across samples for RL training. On Qwen-2.5-7B, our method achieves a 29.2% absolute improvement over the base model on GSM8K (+2.9 pp vs. instruction-tuned, +6.6 pp vs. Self-Instruct), 8.7% on MATH, 13.1% on GPQA (+7.0 pp vs. SynthLLM), 8.9% on MedQA, 17.7% on CQA (law) and 13.7% on CFA (finance). It surpasses supervised fine-tuning under the same data budget and nearly matches RL with full human data across datasets (e.g., +17.2 pp on GSM8K). Adding 100 human demonstrations improves the performance of GSM8K only by 0.4 pp, showing a limited added value. By reducing human data annotation, Synthetic Data RL enables scalable and efficient RL-based model adaptation. Code and demos are available at https://github.com/gydpku/Data_Synthesis_RL/.

RL com Dados Sintéticos: A Definição da Tarefa é Tudo o que Você Precisa

Synthetic Data RL: Task Definition Is All You Need

Resumo

Support