AutoML-GPT: Automatisiertes Maschinelles Lernen mit GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Autoren: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Zusammenfassung

KI-Aufgaben umfassen eine breite Palette von Domänen und Fachgebieten. Während zahlreiche KI-Modelle für spezifische Aufgaben und Anwendungen entwickelt wurden, erfordern sie oft erheblichen menschlichen Aufwand, um die richtige Modellarchitektur, den Optimierungsalgorithmus und die Hyperparameter zu finden. Jüngste Fortschritte bei großen Sprachmodellen (LLMs) wie ChatGPT zeigen bemerkenswerte Fähigkeiten in verschiedenen Aspekten des Denkens, des Verständnisses und der Interaktion. Folglich schlagen wir vor, aufgabenorientierte Prompts zu entwickeln und LLMs automatisch zu nutzen, um den Trainingsprozess zu automatisieren. Um dieses Konzept umzusetzen, präsentieren wir das AutoML-GPT, das GPT als Brücke zu verschiedenen KI-Modellen einsetzt und Modelle mit optimierten Hyperparametern dynamisch trainiert. AutoML-GPT nimmt dynamisch Benutzeranfragen aus den Modell- und Datenkarten entgegen und erstellt den entsprechenden Prompt-Absatz. Schließlich führt AutoML-GPT mit diesem Prompt-Absatz automatisch die Experimente von der Datenverarbeitung über die Modellarchitektur und Hyperparameteroptimierung bis hin zum vorhergesagten Trainingsprotokoll durch. Durch die Nutzung der robusten Sprachfähigkeiten von {\ours} und der verfügbaren KI-Modelle kann AutoML-GPT zahlreiche komplexe KI-Aufgaben über verschiedene Aufgaben und Datensätze hinweg bewältigen. Dieser Ansatz erzielt bemerkenswerte Ergebnisse in den Bereichen Computer Vision, Natural Language Processing und anderen anspruchsvollen Gebieten. Umfangreiche Experimente und Ablationsstudien zeigen, dass unsere Methode allgemein, effektiv und vorteilhaft für viele KI-Aufgaben sein kann.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.