AutoML-GPT: GPT를 활용한 자동화 머신러닝

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

저자: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

초록

AI 작업은 다양한 도메인과 분야를 포괄한다. 특정 작업과 응용을 위해 설계된 수많은 AI 모델들이 있지만, 적절한 모델 아키텍처, 최적화 알고리즘, 하이퍼파라미터를 찾기 위해서는 상당한 인간의 노력이 필요하다. ChatGPT와 같은 대형 언어 모델(LLM)의 최근 발전은 추론, 이해, 상호작용 등 다양한 측면에서 뛰어난 능력을 보여준다. 이에 따라, 우리는 작업 지향 프롬프트를 개발하고 LLM을 자동으로 활용하여 훈련 파이프라인을 자동화하는 것을 제안한다. 이를 구현하기 위해, 우리는 GPT를 다양한 AI 모델과의 연결고리로 사용하고 최적화된 하이퍼파라미터로 모델을 동적으로 훈련시키는 AutoML-GPT를 제시한다. AutoML-GPT는 모델 및 데이터 카드에서 사용자 요청을 동적으로 받아 해당 프롬프트 단락을 구성한다. 궁극적으로, 이 프롬프트 단락을 통해 AutoML-GPT는 데이터 처리부터 모델 아키텍처, 하이퍼파라미터 튜닝, 예측된 훈련 로그에 이르기까지 실험을 자동으로 수행한다. AutoML-GPT의 강력한 언어 능력과 사용 가능한 AI 모델을 활용함으로써, 다양한 작업과 데이터셋에 걸친 수많은 복잡한 AI 작업을 해결할 수 있다. 이 접근법은 컴퓨터 비전, 자연어 처리 및 기타 도전적인 분야에서 뛰어난 결과를 달성한다. 광범위한 실험과 절제 연구를 통해 우리의 방법이 많은 AI 작업에 대해 일반적이고 효과적이며 유익할 수 있음을 입증한다.

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.