DataChef: Preparare Ricette di Dati Ottimali per l'Adattamento di LLM tramite Apprendimento per Rinforzo

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

February 11, 2026

Autori: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

cs.AI

Abstract

Nell'attuale panorama dei Large Language Model (LLM), la selezione di dati di addestramento su larga scala e di alta qualità è un fattore primario per le prestazioni del modello. Un elemento chiave è la "ricetta dei dati", che comprende una pipeline di elaborazione per trasformare le fonti grezze in corpora di addestramento. Nonostante l'uso crescente di LLM per automatizzare singoli passaggi di elaborazione, come la sintesi e il filtraggio dei dati, la progettazione complessiva delle ricette di dati rimane in gran parte manuale e onerosa, richiedendo notevole competenza umana e iterazioni. Per colmare questa lacuna, formuliamo la generazione end-to-end di ricette di dati per l'adattamento degli LLM. Dato un benchmark target e un insieme di fonti dati disponibili, un modello deve produrre una ricetta completa che adatti un LLM di base al compito specifico. Presentiamo DataChef-32B, che esegue reinforcement learning online utilizzando una ricompensa proxy che predice le prestazioni finali per le ricette candidate. In sei task indipendenti, DataChef-32B produce ricette pratiche che raggiungono prestazioni paragonabili a quelle curate da esperti umani. In particolare, la ricetta di DataChef-32B adatta Qwen3-1.7B-Base al dominio matematico, raggiungendo 66.7 su AIME'25 e superando Qwen3-1.7B. Questo lavoro getta nuova luce sull'automazione dell'addestramento degli LLM e sullo sviluppo di sistemi di IA auto-evolventi.

English

In the current landscape of Large Language Models (LLMs), the curation of large-scale, high-quality training data is a primary driver of model performance. A key lever is the data recipe, which comprises a data processing pipeline to transform raw sources into training corpora. Despite the growing use of LLMs to automate individual data processing steps, such as data synthesis and filtering, the overall design of data recipes remains largely manual and labor-intensive, requiring substantial human expertise and iteration. To bridge this gap, we formulate end-to-end data recipe generation for LLM adaptation. Given a target benchmark and a pool of available data sources, a model is required to output a complete data recipe that adapts a base LLM to the target task. We present DataChef-32B, which performs online reinforcement learning using a proxy reward that predicts downstream performance for candidate recipes. Across six held-out tasks, DataChef-32B produces practical recipes that reach comparable downstream performance to those curated by human experts. Notably, the recipe from DataChef-32B adapts Qwen3-1.7B-Base to the math domain, achieving 66.7 on AIME'25 and surpassing Qwen3-1.7B. This work sheds new light on automating LLM training and developing self-evolving AI systems.