DataChef: Создание оптимальных рецептов данных для адаптации больших языковых моделей с помощью обучения с подкреплением

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

February 11, 2026

Авторы: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

cs.AI

Аннотация

В современных условиях развития больших языковых моделей (LLM) ключевым фактором повышения их производительности является формирование масштабных высококачественных обучающих данных. Важнейшую роль играет рецепт данных — конвейер обработки, преобразующий исходные сырые данные в обучающие корпуса. Несмотря на растущее использование LLM для автоматизации отдельных этапов обработки данных, таких как синтез и фильтрация, общее проектирование рецептов данных остается в значительной степени ручным и трудоемким процессом, требующим существенных человеческих экспертных знаний и итераций. Для преодоления этого разрыва мы формулируем задачу сквозной генерации рецептов данных для адаптации LLM. При заданном целевом бенчмарке и пуле доступных источников данных модель должна формировать полный рецепт данных, адаптирующий базовую LLM к целевой задаче. Мы представляем DataChef-32B, который выполняет онлайн-обучение с подкреплением, используя суррогатную функцию вознаграждения, предсказывающую итоговую производительность кандидатных рецептов. На шести тестовых задачах DataChef-32B генерирует практичные рецепты, достигающие сопоставимой с экспертно подобранными рецептами итоговой производительности. Примечательно, что рецепт от DataChef-32B адаптирует Qwen3-1.7B-Base к математической области, достигая 66.7 баллов на AIME'25 и превосходя Qwen3-1.7B. Данная работа открывает новые перспективы для автоматизации обучения LLM и разработки саморазвивающихся систем искусственного интеллекта.

English

In the current landscape of Large Language Models (LLMs), the curation of large-scale, high-quality training data is a primary driver of model performance. A key lever is the data recipe, which comprises a data processing pipeline to transform raw sources into training corpora. Despite the growing use of LLMs to automate individual data processing steps, such as data synthesis and filtering, the overall design of data recipes remains largely manual and labor-intensive, requiring substantial human expertise and iteration. To bridge this gap, we formulate end-to-end data recipe generation for LLM adaptation. Given a target benchmark and a pool of available data sources, a model is required to output a complete data recipe that adapts a base LLM to the target task. We present DataChef-32B, which performs online reinforcement learning using a proxy reward that predicts downstream performance for candidate recipes. Across six held-out tasks, DataChef-32B produces practical recipes that reach comparable downstream performance to those curated by human experts. Notably, the recipe from DataChef-32B adapts Qwen3-1.7B-Base to the math domain, achieving 66.7 on AIME'25 and surpassing Qwen3-1.7B. This work sheds new light on automating LLM training and developing self-evolving AI systems.