AutoML-GPT: Автоматизированное машинное обучение с использованием GPT

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

Авторы: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

Аннотация

Задачи искусственного интеллекта охватывают широкий спектр областей и направлений. Хотя множество моделей ИИ было разработано для конкретных задач и приложений, они часто требуют значительных усилий со стороны человека для поиска подходящей архитектуры модели, алгоритма оптимизации и гиперпараметров. Последние достижения в области крупных языковых моделей (LLM), таких как ChatGPT, демонстрируют впечатляющие способности в различных аспектах рассуждения, понимания и взаимодействия. В связи с этим мы предлагаем разработать ориентированные на задачи подсказки и автоматически использовать LLM для автоматизации процесса обучения. Для реализации этой концепции мы представляем AutoML-GPT, который использует GPT в качестве связующего звена между различными моделями ИИ и динамически обучает модели с оптимизированными гиперпараметрами. AutoML-GPT динамически принимает запросы пользователя из карточек модели и данных и формирует соответствующий абзац подсказки. В конечном итоге, с помощью этого абзаца подсказки AutoML-GPT автоматически проводит эксперименты, начиная с обработки данных и заканчивая архитектурой модели, настройкой гиперпараметров и прогнозируемым журналом обучения. Используя мощные языковые возможности GPT и доступные модели ИИ, AutoML-GPT может решать множество сложных задач ИИ в различных областях и наборах данных. Этот подход демонстрирует выдающиеся результаты в компьютерном зрении, обработке естественного языка и других сложных областях. Многочисленные эксперименты и исследования показывают, что наш метод может быть универсальным, эффективным и полезным для многих задач ИИ.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.