Autodata: Un científico de datos autónomo para crear datos sintéticos de alta calidad

Resumen

Presentamos Autodata, un método general que permite a los agentes de IA actuar como científicos de datos que construyen datos de entrenamiento y evaluación de alta calidad. Mostramos cómo entrenar (metaoptimizar) a dicho agente científico de datos, de modo que aprenda a crear datos aún más sólidos. Describimos la formulación general y una implementación práctica específica, Agentic Self-Instruct. Realizamos experimentos en tareas de investigación en ciencias de la computación, tareas de razonamiento legal y razonamiento con objetos matemáticos, donde obtenemos resultados mejorados en comparación con los métodos clásicos de creación de conjuntos de datos sintéticos. Además, la metaoptimización del propio agente científico de datos proporciona una mejora del rendimiento aún mayor. La creación de datos agéntica ofrece una manera de convertir un mayor cómputo de inferencia en un entrenamiento de modelos de mayor calidad. En general, creemos que esta dirección tiene el potencial de cambiar la forma en que construimos datos de IA.

English

We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.