DataChef: Preparando Recetas de Datos Óptimas para la Adaptación de LLM mediante Aprendizaje por Refuerzo

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

February 11, 2026

Autores: Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

cs.AI

Resumen

En el panorama actual de los Modelos de Lenguaje a Gran Escala (LLMs), la curación de datos de entrenamiento a gran escala y de alta calidad es un factor primordial para el rendimiento del modelo. Un elemento clave es la receta de datos, que comprende un pipeline de procesamiento para transformar fuentes en bruto en corpus de entrenamiento. A pesar del creciente uso de LLMs para automatizar pasos individuales de procesamiento de datos, como la síntesis y el filtrado de datos, el diseño general de las recetas de datos sigue siendo en gran medida manual y laborioso, requiriendo una considerable experiencia humana e iteración. Para salvar esta brecha, formulamos la generación de recetas de datos de extremo a extremo para la adaptación de LLMs. Dado un benchmark objetivo y un conjunto de fuentes de datos disponibles, se requiere que un modelo genere una receta de datos completa que adapte un LLM base a la tarea objetivo. Presentamos DataChef-32B, que realiza aprendizaje por refuerzo en línea utilizando una recompensa proxy que predice el rendimiento final de recetas candidatas. En seis tareas de evaluación independientes, DataChef-32B produce recetas prácticas que alcanzan un rendimiento comparable a las curadas por expertos humanos. Es notable que la receta de DataChef-32B adapta Qwen3-1.7B-Base al dominio matemático, logrando un 66.7 en AIME'25 y superando a Qwen3-1.7B. Este trabajo arroja nueva luz sobre la automatización del entrenamiento de LLMs y el desarrollo de sistemas de IA auto-evolutivos.

English

In the current landscape of Large Language Models (LLMs), the curation of large-scale, high-quality training data is a primary driver of model performance. A key lever is the data recipe, which comprises a data processing pipeline to transform raw sources into training corpora. Despite the growing use of LLMs to automate individual data processing steps, such as data synthesis and filtering, the overall design of data recipes remains largely manual and labor-intensive, requiring substantial human expertise and iteration. To bridge this gap, we formulate end-to-end data recipe generation for LLM adaptation. Given a target benchmark and a pool of available data sources, a model is required to output a complete data recipe that adapts a base LLM to the target task. We present DataChef-32B, which performs online reinforcement learning using a proxy reward that predicts downstream performance for candidate recipes. Across six held-out tasks, DataChef-32B produces practical recipes that reach comparable downstream performance to those curated by human experts. Notably, the recipe from DataChef-32B adapts Qwen3-1.7B-Base to the math domain, achieving 66.7 on AIME'25 and surpassing Qwen3-1.7B. This work sheds new light on automating LLM training and developing self-evolving AI systems.