AutoML-GPT: Aprendizaje Automático Automatizado con GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Autores: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Resumen

Las tareas de IA abarcan una amplia gama de dominios y campos. Si bien se han diseñado numerosos modelos de IA para tareas y aplicaciones específicas, a menudo requieren un esfuerzo humano considerable para encontrar la arquitectura de modelo adecuada, el algoritmo de optimización y los hiperparámetros. Los avances recientes en modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) como ChatGPT muestran capacidades notables en diversos aspectos del razonamiento, la comprensión y la interacción. En consecuencia, proponemos desarrollar indicaciones orientadas a tareas y utilizar automáticamente los LLMs para automatizar el flujo de entrenamiento. Para implementar este concepto, presentamos el AutoML-GPT, que emplea GPT como puente hacia diversos modelos de IA y entrena dinámicamente modelos con hiperparámetros optimizados. AutoML-GPT toma dinámicamente las solicitudes del usuario a partir de las tarjetas de modelo y datos y compone el párrafo de indicación correspondiente. Finalmente, con este párrafo de indicación, AutoML-GPT realizará automáticamente los experimentos, desde el procesamiento de datos hasta la arquitectura del modelo, el ajuste de hiperparámetros y el registro de entrenamiento predicho. Al aprovechar las robustas capacidades lingüísticas de {\ours} y los modelos de IA disponibles, AutoML-GPT puede abordar numerosas tareas de IA complejas en diversos conjuntos de datos y tareas. Este enfoque logra resultados notables en visión por computadora, procesamiento del lenguaje natural y otras áreas desafiantes. Experimentos extensos y estudios de ablación demuestran que nuestro método puede ser general, efectivo y beneficioso para muchas tareas de IA.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.