AutoML-GPT: GPTを用いた自動機械学習

AutoML-GPT: Automatic Machine Learning with GPT

May 4, 2023

著者: Shujian Zhang, Chengyue Gong, Lemeng Wu, Xingchao Liu, Mingyuan Zhou

cs.AI

要旨

AIタスクは多様な領域や分野にわたります。特定のタスクやアプリケーション向けに設計された数多くのAIモデルが存在しますが、適切なモデルアーキテクチャ、最適化アルゴリズム、ハイパーパラメータを見つけるために多大な人的労力を要することがしばしばあります。ChatGPTのような大規模言語モデル（LLM）の最近の進展は、推論、理解、インタラクションの様々な側面で顕著な能力を示しています。これに基づき、我々はタスク指向のプロンプトを開発し、LLMを自動的に活用してトレーニングパイプラインを自動化することを提案します。このコンセプトを実装するため、GPTを多様なAIモデルへの架け橋として活用し、最適化されたハイパーパラメータでモデルを動的にトレーニングするAutoML-GPTを提示します。AutoML-GPTは、モデルカードとデータカードからユーザーの要求を動的に受け取り、対応するプロンプト段落を構成します。最終的に、このプロンプト段落を用いて、AutoML-GPTはデータ処理からモデルアーキテクチャ、ハイパーパラメータチューニング、予測されたトレーニングログまで自動的に実験を実施します。AutoML-GPTの強力な言語能力と利用可能なAIモデルを活用することで、様々なタスクやデータセットにわたる複雑なAIタスクに対処できます。このアプローチは、コンピュータビジョン、自然言語処理、その他の困難な領域で顕著な成果を達成します。広範な実験とアブレーションスタディにより、我々の手法が多くのAIタスクに対して汎用的で効果的かつ有益であることが実証されています。

English

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.