Apprentissage par Renforcement avec Données Synthétiques : La Définition de la Tâche Suffit

Synthetic Data RL: Task Definition Is All You Need

May 18, 2025

papers.authors: Yiduo Guo, Zhen Guo, Chuanwei Huang, Zi-Ang Wang, Zekai Zhang, Haofei Yu, Huishuai Zhang, Yikang Shen

cs.AI

papers.abstract

L'apprentissage par renforcement (Reinforcement Learning, RL) est une méthode puissante pour adapter les modèles de base à des tâches spécialisées, mais sa dépendance à des données annotées à grande échelle par des humains limite son adoption généralisée. Nous introduisons Synthetic Data RL, un cadre simple et général qui affine les modèles par renforcement en utilisant uniquement des données synthétiques générées à partir d'une définition de tâche. Notre méthode génère d'abord des paires de questions et réponses à partir de la définition de la tâche et de documents récupérés, puis adapte la difficulté de la question en fonction de la capacité du modèle à la résoudre, et sélectionne les questions en utilisant le taux de réussite moyen du modèle sur plusieurs échantillons pour l'entraînement RL. Sur Qwen-2.5-7B, notre méthode obtient une amélioration absolue de 29,2 % par rapport au modèle de base sur GSM8K (+2,9 pp par rapport au modèle ajusté par instructions, +6,6 pp par rapport à Self-Instruct), de 8,7 % sur MATH, de 13,1 % sur GPQA (+7,0 pp par rapport à SynthLLM), de 8,9 % sur MedQA, de 17,7 % sur CQA (droit) et de 13,7 % sur CFA (finance). Elle surpasse l'ajustement supervisé avec le même budget de données et atteint presque les performances du RL avec des données humaines complètes sur plusieurs jeux de données (par exemple, +17,2 pp sur GSM8K). L'ajout de 100 démonstrations humaines n'améliore la performance sur GSM8K que de 0,4 pp, montrant une valeur ajoutée limitée. En réduisant l'annotation de données humaines, Synthetic Data RL permet une adaptation de modèle basée sur le RL scalable et efficace. Le code et les démonstrations sont disponibles à l'adresse https://github.com/gydpku/Data_Synthesis_RL/.

English

Reinforcement learning (RL) is a powerful way to adapt foundation models to specialized tasks, but its reliance on large-scale human-labeled data limits broad adoption. We introduce Synthetic Data RL, a simple and general framework that reinforcement fine-tunes models using only synthetic data generated from a task definition. Our method first generates question and answer pairs from the task definition and retrieved documents, then adapts the difficulty of the question based on model solvability, and selects questions using the average pass rate of the model across samples for RL training. On Qwen-2.5-7B, our method achieves a 29.2% absolute improvement over the base model on GSM8K (+2.9 pp vs. instruction-tuned, +6.6 pp vs. Self-Instruct), 8.7% on MATH, 13.1% on GPQA (+7.0 pp vs. SynthLLM), 8.9% on MedQA, 17.7% on CQA (law) and 13.7% on CFA (finance). It surpasses supervised fine-tuning under the same data budget and nearly matches RL with full human data across datasets (e.g., +17.2 pp on GSM8K). Adding 100 human demonstrations improves the performance of GSM8K only by 0.4 pp, showing a limited added value. By reducing human data annotation, Synthetic Data RL enables scalable and efficient RL-based model adaptation. Code and demos are available at https://github.com/gydpku/Data_Synthesis_RL/.