Autodata : un data scientist agentique pour créer des données synthétiques de haute qualité

Résumé

Nous présentons Autodata, une méthode générale permettant aux agents d’IA d’agir en tant que scientifiques des données capables de produire des données d’entraînement et d’évaluation de haute qualité. Nous montrons comment entraîner (méta-optimiser) un tel agent scientifique des données, afin qu’il apprenne à générer des données encore plus performantes. Nous décrivons la formulation globale ainsi qu’une implémentation pratique spécifique, le Self-Instruct Agentique. Nous menons des expériences sur des tâches de recherche en informatique, des tâches de raisonnement juridique et des raisonnements impliquant des objets mathématiques, où nous obtenons de meilleurs résultats par rapport aux méthodes classiques de création de jeux de données synthétiques. De plus, la méta-optimisation de l’agent scientifique des données elle-même conduit à une amélioration encore plus importante de la performance. La création agentique de données offre un moyen de convertir une augmentation du calcul d’inférence en un entraînement de modèle de meilleure qualité. Globalement, nous pensons que cette direction a le potentiel de transformer la manière dont nous construisons les données en IA.

English

We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.