AutoML-GPT: Apprendimento Automatico con GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Autori: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Abstract

I compiti dell'IA abbracciano un'ampia gamma di domini e campi. Sebbene numerosi modelli di IA siano stati progettati per compiti e applicazioni specifici, spesso richiedono notevoli sforzi umani per individuare l'architettura del modello, l'algoritmo di ottimizzazione e gli iperparametri corretti. I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) come ChatGPT mostrano capacità straordinarie in vari aspetti del ragionamento, della comprensione e dell'interazione. Di conseguenza, proponiamo di sviluppare prompt orientati ai compiti e di utilizzare automaticamente gli LLM per automatizzare la pipeline di addestramento. Per implementare questo concetto, presentiamo AutoML-GPT, che impiega GPT come ponte verso diversi modelli di IA e addestra dinamicamente i modelli con iperparametri ottimizzati. AutoML-GPT riceve dinamicamente le richieste dell'utente dalle schede del modello e dei dati e compone il paragrafo di prompt corrispondente. Infine, con questo paragrafo di prompt, AutoML-GPT condurrà automaticamente gli esperimenti, dalla elaborazione dei dati all'architettura del modello, alla regolazione degli iperparametri e al log di addestramento previsto. Sfruttando le robuste capacità linguistiche di {\ours} e i modelli di IA disponibili, AutoML-GPT può affrontare numerosi compiti di IA complessi su vari compiti e dataset. Questo approccio ottiene risultati notevoli nella visione artificiale, nell'elaborazione del linguaggio naturale e in altre aree impegnative. Esperimenti estesi e studi di ablazione dimostrano che il nostro metodo può essere generale, efficace e vantaggioso per molti compiti di IA.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.