책임주체 시스템의 자동 설계

Automated Design of Agentic Systems

August 15, 2024

저자: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

초록

연구자들은 강력한 범용 에이전트를 개발하는 데 상당한 노력을 투자하고 있으며, 이를 위해 Foundation 모델이 에이전트 시스템 내에서 모듈로 사용되고 있습니다 (예: Chain-of-Thought, Self-Reflection, Toolformer). 그러나 기계 학습의 역사는 수동으로 설계된 솔루션이 결국 학습된 솔루션으로 대체된다는 것을 보여줍니다. 우리는 자동 에이전트 시스템 설계 (ADAS)라는 새로운 연구 분야를 제시하며, 이는 혁신적인 구성 요소를 발명하거나 새로운 방식으로 결합하여 강력한 에이전트 시스템 설계를 자동으로 생성하는 것을 목표로 합니다. 또한 ADAS 내에서 미타 에이전트 프로그래밍을 통해 코드로 에이전트를 정의하고 더 나은 코드로 계속 발전하는 새로운 에이전트를 자동으로 발견할 수 있는 미개척되었지만 유망한 접근 방식이 있다는 것을 보여줍니다. 프로그래밍 언어가 튜링 완전성을 갖기 때문에, 이 접근 방식은 이론적으로 어떠한 가능한 에이전트 시스템의 학습도 가능하게 합니다: 혁신적인 프롬프트, 도구 사용, 제어 흐름 및 그 조합을 포함합니다. 우리는 이 아이디어를 보여주기 위해 Meta Agent Search라는 간단하면서 효과적인 알고리즘을 제시하며, 미타 에이전트가 이전 발견의 점점 더 커지는 아카이브를 기반으로 흥미로운 새로운 에이전트를 반복적으로 프로그래밍합니다. 코딩, 과학, 수학을 포함한 여러 도메인을 대상으로 한 광범위한 실험을 통해, 우리의 알고리즘이 최첨단 수동 설계된 에이전트들을 크게 능가하는 혁신적인 디자인의 에이전트를 점진적으로 발명할 수 있음을 보여줍니다. 중요한 점은 Meta Agent Search에 의해 발명된 에이전트가 도메인과 모델을 넘나드는 전이 시에도 우수한 성능을 유지한다는 놀라운 결과를 일관되게 관찰한다는 것이며, 이는 그들의 견고함과 일반성을 입증합니다. 안전하게 개발한다면, 우리의 연구는 자동으로 더욱 강력한 에이전트 시스템을 설계하기 위한 흥미로운 새로운 연구 방향의 잠재력을 보여줍니다.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.