DataChef: Optimale Datenrezepte für die LLM-Adaption mittels Reinforcement Learning

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

February 11, 2026

papers.authors: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

cs.AI

papers.abstract

Im aktuellen Umfeld großer Sprachmodelle (LLMs) ist die Zusammenstellung groß angelegter, hochwertiger Trainingsdaten ein Haupttreiber der Modellleistung. Ein entscheidender Hebel ist das Datenrezept, das eine Datenverarbeitungspipeline zur Transformation roher Quellen in Trainingskorpora umfasst. Trotz des zunehmenden Einsatzes von LLMs zur Automatisierung einzelner Datenverarbeitungsschritte, wie Datensynthese und -filterung, bleibt das Gesamtdesign von Datenrezepten weitgehend manuell und arbeitsintensiv, was erhebliche menschliche Expertise und Iteration erfordert. Um diese Lücke zu schließen, formulieren wir eine end-to-end Generierung von Datenrezepten für die LLM-Adaption. Ausgehend von einem Ziel-Benchmark und einem Pool verfügbarer Datenquellen muss ein Modell ein vollständiges Datenrezept ausgeben, das ein Basis-LLM an die Zielaufgabe anpasst. Wir präsentieren DataChef-32B, das Online Reinforcement Learning unter Verwendung einer Proxy-Belohnungsfunktion durchführt, die die Downstream-Leistung von Kandidatenrezepten vorhersagt. Über sechs zurückgehaltene Aufgaben hinweg erzeugt DataChef-32B praktische Rezepte, die eine vergleichbare Downstream-Leistung erreichen wie von menschlichen Experten kuratierte. Besonders bemerkenswert ist, dass das Rezept von DataChef-32B Qwen3-1.7B-Base an die Mathematikdomäne anpasst und dabei 66,7 auf AIME'25 erreicht, womit es Qwen3-1.7B übertrifft. Diese Arbeit wirft ein neues Licht auf die Automatisierung des LLM-Trainings und die Entwicklung sich selbst weiterentwickelnder KI-Systeme.

English

In the current landscape of Large Language Models (LLMs), the curation of large-scale, high-quality training data is a primary driver of model performance. A key lever is the data recipe, which comprises a data processing pipeline to transform raw sources into training corpora. Despite the growing use of LLMs to automate individual data processing steps, such as data synthesis and filtering, the overall design of data recipes remains largely manual and labor-intensive, requiring substantial human expertise and iteration. To bridge this gap, we formulate end-to-end data recipe generation for LLM adaptation. Given a target benchmark and a pool of available data sources, a model is required to output a complete data recipe that adapts a base LLM to the target task. We present DataChef-32B, which performs online reinforcement learning using a proxy reward that predicts downstream performance for candidate recipes. Across six held-out tasks, DataChef-32B produces practical recipes that reach comparable downstream performance to those curated by human experts. Notably, the recipe from DataChef-32B adapts Qwen3-1.7B-Base to the math domain, achieving 66.7 on AIME'25 and surpassing Qwen3-1.7B. This work sheds new light on automating LLM training and developing self-evolving AI systems.