AutoML-GPT : Apprentissage automatique automatisé avec GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Auteurs: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Résumé

Les tâches en IA couvrent un large éventail de domaines et de champs d'application. Bien que de nombreux modèles d'IA aient été conçus pour des tâches et applications spécifiques, ils nécessitent souvent des efforts humains considérables pour identifier l'architecture de modèle appropriée, l'algorithme d'optimisation et les hyperparamètres. Les récents progrès des grands modèles de langage (LLMs) comme ChatGPT montrent des capacités remarquables dans divers aspects du raisonnement, de la compréhension et de l'interaction. Par conséquent, nous proposons de développer des prompts orientés tâche et d'utiliser automatiquement les LLMs pour automatiser le pipeline d'entraînement. Pour mettre en œuvre ce concept, nous présentons l'AutoML-GPT, qui utilise GPT comme pont vers divers modèles d'IA et entraîne dynamiquement les modèles avec des hyperparamètres optimisés. AutoML-GPT prend dynamiquement les requêtes des utilisateurs à partir des fiches de modèle et de données et compose le paragraphe de prompt correspondant. Enfin, avec ce paragraphe de prompt, AutoML-GPT effectue automatiquement les expériences, du traitement des données à l'architecture du modèle, en passant par le réglage des hyperparamètres et la génération des logs d'entraînement prédits. En tirant parti des robustes capacités linguistiques de {\ours} et des modèles d'IA disponibles, AutoML-GPT peut aborder de nombreuses tâches d'IA complexes sur diverses tâches et jeux de données. Cette approche obtient des résultats remarquables en vision par ordinateur, traitement du langage naturel et d'autres domaines exigeants. Des expériences approfondies et des études d'ablation démontrent que notre méthode peut être générale, efficace et bénéfique pour de nombreuses tâches d'IA.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.