Explorando la Ingeniería de Datos Autónoma Agéntica para la Especialización de Modelos

Resumen

Los modelos de lenguaje de gran escala (LLMs) han demostrado un rendimiento sólido en tareas generales, aunque a menudo tienen dificultades para adaptarse a dominios especializados sin datos de alta calidad específicos del dominio. Los métodos existentes de curación de datos basados en LLMs dependen principalmente de flujos de trabajo diseñados por humanos, dejando sin examinar si los LLMs pueden ejecutar de manera autónoma un pipeline completo de ingeniería de datos para la especialización de modelos. Formalizamos la Ingeniería de Datos Agéntica Autónoma, una tarea novedosa diseñada para evaluar a los LLMs como ingenieros de datos autónomos que impulsan la especialización de modelos mediante la curación integral de datos. Enmarcamos los datos como un componente optimizable y estudiamos agentes que planifican, generan y optimizan iterativamente los datos de entrenamiento en múltiples dominios, guiados por la mejora del rendimiento posterior al entrenamiento. Los experimentos muestran que los ingenieros de datos LLM autónomos generan ganancias sustanciales, ya que GPT-5.2 construye un plan de estudios de entrenamiento que mejora un modelo estudiante en un 57.29%, completamente a través de una adaptación iterativa de datos impulsada por agentes. Al iluminar tanto el potencial como los cuellos de botella, nuestro estudio establece la ingeniería de datos autónoma como una capacidad medible y traza un camino hacia la especialización de modelos impulsada por agentes. El código se publicará en https://github.com/zjunlp/DataAgent.

English

Large Language Models (LLMs) have demonstrated strong performance on general tasks, while often struggling to adapt to specialized domains without high-quality domain-specific data. Existing LLM-based data curation methods primarily rely on human-designed workflows, leaving it unexamined whether LLMs can autonomously execute an end-to-end data engineering pipeline for model specialization. We formalize Autonomous Agentic Data Engineering, a novel task designed to evaluate LLMs as autonomous data engineers that drive model specialization through end-to-end data curation. We frame data as an optimizable component and study agents that plan, generate, and iteratively optimize training data across multiple domains, guided by post-training performance improvement. Experiments show that autonomous LLM data engineers yield substantial gains, as GPT-5.2 constructs a training curriculum that improves a student model by 57.29\%, entirely through iterative, agent-driven data adaptation. By illuminating both potential and bottlenecks, our study establishes autonomous data engineering as a measurable capability and charts a path toward agent-driven model specializationCode will be released at https://github.com/zjunlp/DataAgent..