Autodata: Um cientista de dados agêntico para criar dados sintéticos de alta qualidade

Resumo

Apresentamos o Autodata, um método geral que capacita agentes de IA a atuarem como cientistas de dados na construção de dados de treinamento e avaliação de alta qualidade. Mostramos como treinar (meta-otimizar) tal agente cientista de dados, de modo que ele aprenda a criar dados ainda mais robustos. Descrevemos a formulação geral e uma implementação prática específica, o Agentic Self-Instruct. Realizamos experimentos em tarefas de pesquisa em ciência da computação, tarefas de raciocínio jurídico e raciocínio com objetos matemáticos, onde obtivemos resultados superiores em comparação com métodos clássicos de criação de conjuntos de dados sintéticos. Além disso, a meta-otimização do próprio agente cientista de dados proporciona um ganho de desempenho ainda maior. A criação de dados por agentes oferece uma forma de converter o aumento do poder computacional de inferência em treinamento de modelos de maior qualidade. No geral, acreditamos que essa direção tem potencial para transformar a forma como construímos dados para IA.

English

We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.