DataChef: Het Samenstellen van Optimale Datarecepten voor LLM-Adaptatie via Reinforcement Learning

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

February 11, 2026

Auteurs: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

cs.AI

Samenvatting

In het huidige landschap van Large Language Models (LLM's) is de samenstelling van grootschalige, hoogwaardige trainingsdata een primaire drijvende kracht achter modelprestaties. Een belangrijke hefboom is het datarecept, dat bestaat uit een dataverwerkingspijplijn om ruwe bronnen om te zetten in trainingscorpora. Ondanks het toenemende gebruik van LLM's om individuele dataverwerkingsstappen te automatiseren, zoals datasynthese en -filtering, blijft het algehele ontwerp van datarecepten grotendeels handmatig en arbeidsintensief, wat aanzienlijke menselijke expertise en iteratie vereist. Om deze kloof te overbruggen, formuleren we end-to-end generatie van datarecepten voor LLM-aanpassing. Gegeven een doelbenchmark en een verzameling beschikbare databronnen, moet een model een compleet datarecept produceren dat een basis-LLM aanpast aan de doeltaak. Wij presenteren DataChef-32B, dat online reinforcement learning uitvoert met behulp van een proxy-beloning die de downstreamprestatie van kandidaat-recepten voorspelt. Over zes buitengehouden taken produceert DataChef-32B praktische recepten die vergelijkbare downstreamprestaties bereiken als die samengesteld door menselijke experts. Opmerkelijk is dat het recept van DataChef-32B Qwen3-1.7B-Base aanpast aan het wiskundedomein, met een score van 66.7 op AIME'25, waarmee het Qwen3-1.7B overtreft. Dit werk werpt een nieuw licht op het automatiseren van LLM-training en de ontwikkeling van zelf-evoluerende AI-systemen.

English

In the current landscape of Large Language Models (LLMs), the curation of large-scale, high-quality training data is a primary driver of model performance. A key lever is the data recipe, which comprises a data processing pipeline to transform raw sources into training corpora. Despite the growing use of LLMs to automate individual data processing steps, such as data synthesis and filtering, the overall design of data recipes remains largely manual and labor-intensive, requiring substantial human expertise and iteration. To bridge this gap, we formulate end-to-end data recipe generation for LLM adaptation. Given a target benchmark and a pool of available data sources, a model is required to output a complete data recipe that adapts a base LLM to the target task. We present DataChef-32B, which performs online reinforcement learning using a proxy reward that predicts downstream performance for candidate recipes. Across six held-out tasks, DataChef-32B produces practical recipes that reach comparable downstream performance to those curated by human experts. Notably, the recipe from DataChef-32B adapts Qwen3-1.7B-Base to the math domain, achieving 66.7 on AIME'25 and surpassing Qwen3-1.7B. This work sheds new light on automating LLM training and developing self-evolving AI systems.