Exploration de l'ingénierie des données autonome agentive pour la spécialisation des modèles

Résumé

Les grands modèles de langage (LLM) ont démontré de solides performances sur des tâches générales, mais peinent souvent à s'adapter à des domaines spécialisés sans données de haute qualité spécifiques au domaine. Les méthodes existantes de curation de données basées sur les LLM reposent principalement sur des workflows conçus par des humains, sans que l'on ait examiné si les LLM peuvent exécuter de manière autonome un pipeline complet d'ingénierie des données pour la spécialisation des modèles. Nous formalisons l'Ingénierie Autonome des Données par Agents (Autonomous Agentic Data Engineering), une nouvelle tâche conçue pour évaluer les LLM en tant qu'ingénieurs de données autonomes qui pilotent la spécialisation des modèles via une curation de données de bout en bout. Nous considérons les données comme un composant optimisable et étudions des agents qui planifient, génèrent et optimisent itérativement les données d'entraînement sur plusieurs domaines, guidés par l'amélioration des performances après entraînement. Les expériences montrent que les ingénieurs de données LLM autonomes génèrent des gains substantiels : GPT-5.2 construit un curriculum d'entraînement qui améliore un modèle étudiant de 57,29 %, entièrement par adaptation itérative des données pilotée par agent. En mettant en lumière à la fois le potentiel et les goulets d'étranglement, notre étude établit l'ingénierie autonome des données comme une capacité mesurable et trace une voie vers la spécialisation des modèles pilotée par agents. Le code sera publié à l'adresse https://github.com/zjunlp/DataAgent.

English

Large Language Models (LLMs) have demonstrated strong performance on general tasks, while often struggling to adapt to specialized domains without high-quality domain-specific data. Existing LLM-based data curation methods primarily rely on human-designed workflows, leaving it unexamined whether LLMs can autonomously execute an end-to-end data engineering pipeline for model specialization. We formalize Autonomous Agentic Data Engineering, a novel task designed to evaluate LLMs as autonomous data engineers that drive model specialization through end-to-end data curation. We frame data as an optimizable component and study agents that plan, generate, and iteratively optimize training data across multiple domains, guided by post-training performance improvement. Experiments show that autonomous LLM data engineers yield substantial gains, as GPT-5.2 constructs a training curriculum that improves a student model by 57.29\%, entirely through iterative, agent-driven data adaptation. By illuminating both potential and bottlenecks, our study establishes autonomous data engineering as a measurable capability and charts a path toward agent-driven model specializationCode will be released at https://github.com/zjunlp/DataAgent..