Het verkennen van autonome agentische data-engineering voor modelspecialisatie

Samenvatting

Large Language Models (LLM's) hebben sterke prestaties getoond op algemene taken, maar hebben vaak moeite zich aan te passen aan gespecialiseerde domeinen zonder hoogwaardige domeinspecifieke gegevens. Bestaande op LLM's gebaseerde datacuratiemethoden vertrouwen voornamelijk op door mensen ontworpen workflows, waardoor ononderzocht blijft of LLM's autonoom een end-to-end data-engineeringpijplijn voor modelspecialisatie kunnen uitvoeren. We formaliseren Autonomous Agentic Data Engineering, een nieuwe taak die is ontworpen om LLM's te evalueren als autonome data-ingenieurs die modelspecialisatie aansturen via end-to-end datacuratie. We beschouwen data als een optimaliseerbare component en bestuderen agenten die trainingsgegevens plannen, genereren en iteratief optimaliseren over meerdere domeinen, geleid door prestatieverbetering na training. Experimenten tonen aan dat autonome LLM-data-ingenieurs aanzienlijke winst opleveren, aangezien GPT-5.2 een trainingscurriculum construeert dat een studentmodel met 57,29% verbetert, geheel door iteratieve, agent-gestuurde data-adaptatie. Door zowel potentieel als knelpunten te belichten, vestigt onze studie autonome data-engineering als een meetbare capaciteit en schetst een pad naar agent-gestuurde modelspecialisatie. Code wordt vrijgegeven op https://github.com/zjunlp/DataAgent.

English

Large Language Models (LLMs) have demonstrated strong performance on general tasks, while often struggling to adapt to specialized domains without high-quality domain-specific data. Existing LLM-based data curation methods primarily rely on human-designed workflows, leaving it unexamined whether LLMs can autonomously execute an end-to-end data engineering pipeline for model specialization. We formalize Autonomous Agentic Data Engineering, a novel task designed to evaluate LLMs as autonomous data engineers that drive model specialization through end-to-end data curation. We frame data as an optimizable component and study agents that plan, generate, and iteratively optimize training data across multiple domains, guided by post-training performance improvement. Experiments show that autonomous LLM data engineers yield substantial gains, as GPT-5.2 constructs a training curriculum that improves a student model by 57.29\%, entirely through iterative, agent-driven data adaptation. By illuminating both potential and bottlenecks, our study establishes autonomous data engineering as a measurable capability and charts a path toward agent-driven model specializationCode will be released at https://github.com/zjunlp/DataAgent..