Erforschung des autonomen agentischen Data Engineerings zur Modellspezialisierung

Zusammenfassung

Große Sprachmodelle (LLMs) haben bei allgemeinen Aufgaben starke Leistungen gezeigt, haben jedoch oft Schwierigkeiten, sich ohne hochwertige domänenspezifische Daten an spezialisierte Bereiche anzupassen. Bisherige LLM-basierte Datenkuratierungsmethoden stützen sich hauptsächlich auf manuell entworfene Workflows, wobei ungeprüft bleibt, ob LLMs autonom eine durchgängige Daten-Engineering-Pipeline zur Modellspezialisierung ausführen können. Wir formalisieren das *Autonomous Agentic Data Engineering*, eine neuartige Aufgabe zur Bewertung von LLMs als autonome Daten-Ingenieure, die durch durchgängige Datenkuratierung die Modellspezialisierung vorantreiben. Wir betrachten Daten als optimierbare Komponente und untersuchen Agenten, die Trainingsdaten über mehrere Domänen hinweg planen, generieren und iterativ optimieren – gesteuert durch Leistungsverbesserungen nach dem Training. Experimente zeigen, dass autonome LLM-Daten-Ingenieure erhebliche Gewinne erzielen: GPT-5.2 erstellt einen Trainingsplan, der ein Schülermodell um 57,29 % verbessert – vollständig durch iterative, agentengesteuerte Datenanpassung. Indem wir sowohl Potenzial als auch Engpässe aufzeigen, etabliert unsere Studie autonomes Daten-Engineering als messbare Fähigkeit und skizziert einen Weg zur agentengesteuerten Modellspezialisierung. Der Code wird unter https://github.com/zjunlp/DataAgent veröffentlicht.

English

Large Language Models (LLMs) have demonstrated strong performance on general tasks, while often struggling to adapt to specialized domains without high-quality domain-specific data. Existing LLM-based data curation methods primarily rely on human-designed workflows, leaving it unexamined whether LLMs can autonomously execute an end-to-end data engineering pipeline for model specialization. We formalize Autonomous Agentic Data Engineering, a novel task designed to evaluate LLMs as autonomous data engineers that drive model specialization through end-to-end data curation. We frame data as an optimizable component and study agents that plan, generate, and iteratively optimize training data across multiple domains, guided by post-training performance improvement. Experiments show that autonomous LLM data engineers yield substantial gains, as GPT-5.2 constructs a training curriculum that improves a student model by 57.29\%, entirely through iterative, agent-driven data adaptation. By illuminating both potential and bottlenecks, our study establishes autonomous data engineering as a measurable capability and charts a path toward agent-driven model specializationCode will be released at https://github.com/zjunlp/DataAgent..