AutoML-GPT: Aprendizado de Máquina Automatizado com GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Autores: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Resumo

As tarefas de IA abrangem uma ampla gama de domínios e campos. Embora inúmeros modelos de IA tenham sido projetados para tarefas e aplicações específicas, eles frequentemente exigem esforços humanos consideráveis para encontrar a arquitetura de modelo ideal, o algoritmo de otimização e os hiperparâmetros adequados. Avanços recentes em modelos de linguagem de grande escala (LLMs), como o ChatGPT, demonstram capacidades notáveis em diversos aspectos de raciocínio, compreensão e interação. Consequentemente, propomos o desenvolvimento de prompts orientados por tarefas e a utilização automática de LLMs para automatizar o pipeline de treinamento. Para implementar esse conceito, apresentamos o AutoML-GPT, que emprega o GPT como ponte para diversos modelos de IA e treina modelos dinamicamente com hiperparâmetros otimizados. O AutoML-GPT recebe dinamicamente as solicitações do usuário a partir dos cartões de modelo e dados e compõe o parágrafo de prompt correspondente. Por fim, com esse parágrafo de prompt, o AutoML-GPT conduzirá automaticamente os experimentos, desde o processamento de dados até a arquitetura do modelo, o ajuste de hiperparâmetros e o registro de treinamento previsto. Ao aproveitar as robustas capacidades linguísticas do {\ours} e os modelos de IA disponíveis, o AutoML-GPT pode lidar com inúmeras tarefas complexas de IA em diversas tarefas e conjuntos de dados. Essa abordagem alcança resultados notáveis em visão computacional, processamento de linguagem natural e outras áreas desafiadoras. Experimentos extensivos e estudos de ablação demonstram que nosso método pode ser geral, eficaz e benéfico para muitas tarefas de IA.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.