Синтетические данные для обучения с подкреплением: Определение задачи — это всё, что нужно

Synthetic Data RL: Task Definition Is All You Need

May 18, 2025

Авторы: Yiduo Guo, Zhen Guo, Chuanwei Huang, Zi-Ang Wang, Zekai Zhang, Haofei Yu, Huishuai Zhang, Yikang Shen

cs.AI

Аннотация

Обучение с подкреплением (RL) является мощным способом адаптации базовых моделей к специализированным задачам, однако его зависимость от крупномасштабных данных с человеческой разметкой ограничивает широкое применение. Мы представляем Synthetic Data RL — простую и универсальную методику, которая тонко настраивает модели с использованием исключительно синтетических данных, сгенерированных на основе определения задачи. Наш метод сначала генерирует пары вопросов и ответов из определения задачи и извлеченных документов, затем адаптирует сложность вопроса на основе способности модели его решить и выбирает вопросы с использованием средней частоты успешных решений модели для обучения с подкреплением. На модели Qwen-2.5-7B наш метод демонстрирует абсолютное улучшение на 29,2% по сравнению с базовой моделью на GSM8K (+2,9 п.п. против обучения с инструкциями, +6,6 п.п. против Self-Instruct), на 8,7% на MATH, на 13,1% на GPQA (+7,0 п.п. против SynthLLM), на 8,9% на MedQA, на 17,7% на CQA (право) и на 13,7% на CFA (финансы). Он превосходит контролируемую тонкую настройку при одинаковом объеме данных и почти достигает результатов обучения с подкреплением с полным набором человеческих данных на различных наборах данных (например, +17,2 п.п. на GSM8K). Добавление 100 человеческих примеров улучшает производительность на GSM8K всего на 0,4 п.п., что свидетельствует о ограниченной дополнительной ценности. Сокращая необходимость в аннотировании человеческих данных, Synthetic Data RL обеспечивает масштабируемую и эффективную адаптацию моделей на основе обучения с подкреплением. Код и демонстрации доступны по адресу https://github.com/gydpku/Data_Synthesis_RL/.

English

Reinforcement learning (RL) is a powerful way to adapt foundation models to specialized tasks, but its reliance on large-scale human-labeled data limits broad adoption. We introduce Synthetic Data RL, a simple and general framework that reinforcement fine-tunes models using only synthetic data generated from a task definition. Our method first generates question and answer pairs from the task definition and retrieved documents, then adapts the difficulty of the question based on model solvability, and selects questions using the average pass rate of the model across samples for RL training. On Qwen-2.5-7B, our method achieves a 29.2% absolute improvement over the base model on GSM8K (+2.9 pp vs. instruction-tuned, +6.6 pp vs. Self-Instruct), 8.7% on MATH, 13.1% on GPQA (+7.0 pp vs. SynthLLM), 8.9% on MedQA, 17.7% on CQA (law) and 13.7% on CFA (finance). It surpasses supervised fine-tuning under the same data budget and nearly matches RL with full human data across datasets (e.g., +17.2 pp on GSM8K). Adding 100 human demonstrations improves the performance of GSM8K only by 0.4 pp, showing a limited added value. By reducing human data annotation, Synthetic Data RL enables scalable and efficient RL-based model adaptation. Code and demos are available at https://github.com/gydpku/Data_Synthesis_RL/.