エージェントシステムの自動設計

Automated Design of Agentic Systems

August 15, 2024

著者: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

要旨

研究者たちは、強力な汎用エージェントの開発に多大な努力を注いでおり、その中でFoundation Modelsがエージェントシステムのモジュールとして使用されています（例：Chain-of-Thought、Self-Reflection、Toolformer）。しかし、機械学習の歴史は、手動で設計されたソリューションが最終的には学習されたソリューションに置き換えられることを教えてくれます。私たちは、Automated Design of Agentic Systems（ADAS）という新しい研究領域を提唱し、強力なエージェントシステムの設計を自動的に作成することを目指しています。これには、新しい構成要素の発明や、それらを新しい方法で組み合わせることが含まれます。さらに、ADAS内には未開拓でありながら有望なアプローチがあることを示します。このアプローチでは、エージェントをコードで定義し、メタエージェントがより優れたエージェントをコードで自動的に発見することができます。プログラミング言語がチューリング完全であることを考えると、このアプローチは理論的にはあらゆる可能なエージェントシステムを学習することを可能にします。これには、新しいプロンプト、ツールの使用、制御フロー、およびそれらの組み合わせが含まれます。私たちは、このアイデアを実証するために、Meta Agent Searchというシンプルでありながら効果的なアルゴリズムを提示します。このアルゴリズムでは、メタエージェントが過去の発見のアーカイブを基に、興味深い新しいエージェントを反復的にプログラミングします。コーディング、科学、数学など複数のドメインでの広範な実験を通じて、私たちのアルゴリズムが最先端の手動設計エージェントを大幅に上回る新しい設計のエージェントを段階的に発明できることを示します。重要なことに、Meta Agent Searchによって発明されたエージェントは、ドメインやモデルをまたいで転移しても優れた性能を維持するという驚くべき結果を一貫して観察しました。これは、それらの堅牢性と汎用性を示しています。安全に開発すれば、私たちの研究は、人類の利益のためにますます強力なエージェントシステムを自動的に設計するというエキサイティングな新しい研究方向の可能性を示しています。

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.