Synthetische Daten RL: Aufgabenbeschreibung ist alles, was Sie brauchen

Synthetic Data RL: Task Definition Is All You Need

May 18, 2025

Autoren: Yiduo Guo, Zhen Guo, Chuanwei Huang, Zi-Ang Wang, Zekai Zhang, Haofei Yu, Huishuai Zhang, Yikang Shen

cs.AI

Zusammenfassung

Reinforcement Learning (RL) ist eine leistungsstarke Methode, um Foundation-Modelle an spezialisierte Aufgaben anzupassen, doch die Abhängigkeit von groß angelegten, menschlich annotierten Daten begrenzt die breite Anwendung. Wir stellen Synthetic Data RL vor, ein einfaches und allgemeines Framework, das Modelle durch Reinforcement Learning ausschließlich mit synthetischen Daten, die aus einer Aufgabenbeschreibung generiert werden, feinabstimmt. Unsere Methode erzeugt zunächst Frage-Antwort-Paare aus der Aufgabenbeschreibung und abgerufenen Dokumenten, passt dann den Schwierigkeitsgrad der Frage basierend auf der Lösbarkeit durch das Modell an und wählt Fragen mithilfe der durchschnittlichen Erfolgsrate des Modells über Stichproben für das RL-Training aus. Bei Qwen-2.5-7B erzielt unsere Methode eine absolute Verbesserung von 29,2 % gegenüber dem Basismodell auf GSM8K (+2,9 Prozentpunkte gegenüber Instruction-Tuning, +6,6 Prozentpunkte gegenüber Self-Instruct), 8,7 % auf MATH, 13,1 % auf GPQA (+7,0 Prozentpunkte gegenüber SynthLLM), 8,9 % auf MedQA, 17,7 % auf CQA (Recht) und 13,7 % auf CFA (Finanzen). Sie übertrifft das überwachte Feinabstimmen unter demselben Datenbudget und erreicht nahezu das Niveau von RL mit vollständigen menschlichen Daten über verschiedene Datensätze hinweg (z. B. +17,2 Prozentpunkte auf GSM8K). Die Hinzufügung von 100 menschlichen Demonstrationen verbessert die Leistung auf GSM8K nur um 0,4 Prozentpunkte, was einen begrenzten Mehrwert zeigt. Durch die Reduzierung menschlicher Datenannotation ermöglicht Synthetic Data RL eine skalierbare und effiziente RL-basierte Modellanpassung. Code und Demos sind verfügbar unter https://github.com/gydpku/Data_Synthesis_RL/.

English

Reinforcement learning (RL) is a powerful way to adapt foundation models to specialized tasks, but its reliance on large-scale human-labeled data limits broad adoption. We introduce Synthetic Data RL, a simple and general framework that reinforcement fine-tunes models using only synthetic data generated from a task definition. Our method first generates question and answer pairs from the task definition and retrieved documents, then adapts the difficulty of the question based on model solvability, and selects questions using the average pass rate of the model across samples for RL training. On Qwen-2.5-7B, our method achieves a 29.2% absolute improvement over the base model on GSM8K (+2.9 pp vs. instruction-tuned, +6.6 pp vs. Self-Instruct), 8.7% on MATH, 13.1% on GPQA (+7.0 pp vs. SynthLLM), 8.9% on MedQA, 17.7% on CQA (law) and 13.7% on CFA (finance). It surpasses supervised fine-tuning under the same data budget and nearly matches RL with full human data across datasets (e.g., +17.2 pp on GSM8K). Adding 100 human demonstrations improves the performance of GSM8K only by 0.4 pp, showing a limited added value. By reducing human data annotation, Synthetic Data RL enables scalable and efficient RL-based model adaptation. Code and demos are available at https://github.com/gydpku/Data_Synthesis_RL/.