Automatisch Ontwerp van Agent-gebaseerde Systemen

Samenvatting

Onderzoekers investeren aanzienlijke inspanningen in het ontwikkelen van krachtige algemene agents, waarbij Foundation Models worden gebruikt als modules binnen agentische systemen (bijv. Chain-of-Thought, Self-Reflection, Toolformer). De geschiedenis van machine learning leert ons echter dat handmatig ontworpen oplossingen uiteindelijk worden vervangen door geleerde oplossingen. Wij formuleren een nieuw onderzoeksgebied, Automated Design of Agentic Systems (ADAS), dat tot doel heeft krachtige ontwerpen van agentische systemen automatisch te creëren, inclusief het uitvinden van nieuwe bouwstenen en/of het combineren ervan op nieuwe manieren. Wij tonen verder aan dat er binnen ADAS een onontgonnen maar veelbelovende benadering bestaat waarbij agents in code kunnen worden gedefinieerd en nieuwe agents automatisch kunnen worden ontdekt door een meta-agent die steeds betere agents in code programmeert. Gezien het feit dat programmeertalen Turing Complete zijn, maakt deze benadering het in theorie mogelijk om elk mogelijk agentisch systeem te leren: inclusief nieuwe prompts, gereedschapsgebruik, controleflows en combinaties daarvan. Wij presenteren een eenvoudig maar effectief algoritme genaamd Meta Agent Search om dit idee te demonstreren, waarbij een meta-agent iteratief interessante nieuwe agents programmeert op basis van een steeds groeiend archief van eerdere ontdekkingen. Door uitgebreide experimenten in meerdere domeinen, waaronder programmeren, wetenschap en wiskunde, tonen wij aan dat ons algoritme progressief agents kan uitvinden met nieuwe ontwerpen die sterk superieur presteren in vergelijking met state-of-the-art handmatig ontworpen agents. Belangrijk is dat wij consistent het verrassende resultaat observeren dat agents die door Meta Agent Search zijn uitgevonden superieure prestaties behouden, zelfs wanneer ze worden overgedragen tussen domeinen en modellen, wat hun robuustheid en algemeenheid aantoont. Mits wij het veilig ontwikkelen, illustreert ons werk het potentieel van een spannende nieuwe onderzoeksrichting naar het automatisch ontwerpen van steeds krachtigere agentische systemen ten voordele van de mensheid.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.