AutoML-GPT: Automatisch Machinaal Leren met GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Auteurs: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Samenvatting

AI-taken omvatten een breed scala aan domeinen en vakgebieden. Hoewel talloze AI-modellen zijn ontworpen voor specifieke taken en toepassingen, vereisen ze vaak aanzienlijke menselijke inspanningen om de juiste modelarchitectuur, optimalisatiealgoritme en hyperparameters te vinden. Recente vooruitgang in grote taalmodellen (LLM's) zoals ChatGPT toont opmerkelijke capaciteiten op verschillende aspecten van redeneren, begrip en interactie. Daarom stellen we voor om taakgerichte prompts te ontwikkelen en LLM's automatisch te gebruiken om de trainingspijplijn te automatiseren. Om dit concept te implementeren, presenteren we de AutoML-GPT, die GPT inzet als de brug naar diverse AI-modellen en modellen dynamisch traint met geoptimaliseerde hyperparameters. AutoML-GPT neemt dynamisch gebruikersverzoeken op uit de model- en datakaarten en stelt de bijbehorende promptparagraaf samen. Uiteindelijk zal AutoML-GPT met deze promptparagraaf automatisch de experimenten uitvoeren, van gegevensverwerking tot modelarchitectuur, hyperparameterafstemming en voorspelde trainingslog. Door gebruik te maken van de robuuste taalcapaciteiten van {\ours} en de beschikbare AI-modellen, kan AutoML-GPT tal van complexe AI-taken aanpakken over verschillende taken en datasets. Deze aanpak behaalt opmerkelijke resultaten op het gebied van computervisie, natuurlijke taalverwerking en andere uitdagende gebieden. Uitgebreide experimenten en ablatiestudies tonen aan dat onze methode algemeen, effectief en nuttig kan zijn voor veel AI-taken.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.