Design Automatizado de Sistemas Agentes

Automated Design of Agentic Systems

August 15, 2024

Autores: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

Resumo

Os pesquisadores estão investindo esforços substanciais no desenvolvimento de agentes poderosos de propósito geral, nos quais Modelos Fundamentais são utilizados como módulos dentro de sistemas agentes (por exemplo, Encadeamento de Pensamento, Autorreflexão, Formador de Ferramentas). No entanto, a história do aprendizado de máquina nos ensina que soluções projetadas manualmente são eventualmente substituídas por soluções aprendidas. Formulamos uma nova área de pesquisa, Design Automatizado de Sistemas Agentes (ADAS), que tem como objetivo criar automaticamente designs de sistemas agentes poderosos, incluindo a invenção de blocos de construção inovadores e/ou combiná-los de novas maneiras. Demonstramos ainda que há uma abordagem inexplorada, porém promissora, dentro do ADAS, onde agentes podem ser definidos em código e novos agentes podem ser descobertos automaticamente por um meta agente programando agentes cada vez melhores em código. Dado que as linguagens de programação são Turing Completas, essa abordagem teoricamente permite a aprendizagem de qualquer sistema agente possível: incluindo prompts inovadores, uso de ferramentas, fluxos de controle e combinações destes. Apresentamos um algoritmo simples, porém eficaz, chamado Busca de Meta Agente para demonstrar essa ideia, onde um meta agente programa iterativamente novos agentes interessantes com base em um arquivo em constante crescimento de descobertas anteriores. Através de experimentos extensivos em múltiplos domínios, incluindo programação, ciência e matemática, mostramos que nosso algoritmo pode inventar progressivamente agentes com designs inovadores que superam significativamente agentes projetados manualmente de ponta. Importante ressaltar que observamos consistentemente o resultado surpreendente de que agentes inventados pela Busca de Meta Agente mantêm desempenho superior mesmo quando transferidos entre domínios e modelos, demonstrando sua robustez e generalidade. Desde que seja desenvolvido de forma segura, nosso trabalho ilustra o potencial de uma nova e empolgante direção de pesquisa em direção ao design automático de sistemas agentes cada vez mais poderosos para beneficiar a humanidade.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.