Progettazione Automatica di Sistemi Agenti

Abstract

I ricercatori stanno investendo notevoli sforzi nello sviluppo di potenti agenti a scopo generale, in cui i Modelli Fondamentali vengono utilizzati come moduli all'interno di sistemi agentici (ad esempio, Catena di Pensiero, Auto-Riflessione, Toolformer). Tuttavia, la storia dell'apprendimento automatico ci insegna che le soluzioni progettate manualmente vengono alla fine sostituite da soluzioni apprese. Formuliamo una nuova area di ricerca, il Design Automatico di Sistemi Agenti (ADAS), che mira a creare automaticamente progetti di sistemi agentici potenti, inclusa l'invenzione di nuovi blocchi costitutivi e/o la loro combinazione in modi innovativi. Dimostriamo inoltre che esiste un approccio inesplorato ma promettente all'interno di ADAS in cui gli agenti possono essere definiti in codice e nuovi agenti possono essere scoperti automaticamente da un meta agente che programma continuamente agenti migliori in codice. Dato che i linguaggi di programmazione sono Turing Completi, questo approccio teoricamente consente l'apprendimento di qualsiasi possibile sistema agente: inclusi prompt innovativi, uso di strumenti, flussi di controllo e combinazioni degli stessi. Presentiamo un algoritmo semplice ma efficace chiamato Meta Agent Search per dimostrare questa idea, in cui un meta agente programma iterativamente nuovi agenti interessanti basandosi su un archivio in continua crescita di scoperte precedenti. Attraverso esperimenti estesi in più domini, tra cui programmazione, scienza e matematica, mostriamo che il nostro algoritmo può inventare progressivamente agenti con progetti innovativi che superano di gran lunga gli agenti progettati manualmente all'avanguardia. È importante sottolineare che osserviamo costantemente il risultato sorprendente che gli agenti inventati da Meta Agent Search mantengono prestazioni superiori anche quando trasferiti tra domini e modelli, dimostrando la loro robustezza e generalità. A condizione che lo sviluppiamo in modo sicuro, il nostro lavoro illustra il potenziale di una nuova ed entusiasmante direzione di ricerca verso la progettazione automatica di sistemi agentici sempre più potenti a beneficio dell'umanità.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.