Automatisches Design von agentischen Systemen

Automated Design of Agentic Systems

August 15, 2024

Autoren: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

Zusammenfassung

Forscher investieren erhebliche Anstrengungen in die Entwicklung leistungsstarker allgemeiner Agenten, bei denen Foundation Models als Module innerhalb agentischer Systeme (z. B. Chain-of-Thought, Self-Reflection, Toolformer) verwendet werden. Die Geschichte des maschinellen Lernens lehrt uns jedoch, dass von Hand entworfene Lösungen letztendlich durch erlernte Lösungen ersetzt werden. Wir formulieren ein neues Forschungsgebiet, die Automatisierte Gestaltung von agentischen Systemen (ADAS), das darauf abzielt, automatisch leistungsstarke Designs für agentische Systeme zu erstellen, einschließlich der Erfindung neuartiger Bausteine und/oder ihrer Kombination auf neue Weise. Wir zeigen weiterhin, dass es einen noch unerforschten, aber vielversprechenden Ansatz innerhalb von ADAS gibt, bei dem Agenten im Code definiert werden können und neue Agenten automatisch von einem Meta-Agenten programmiert werden können, der immer bessere im Code erstellt. Da Programmiersprachen Turing-vollständig sind, ermöglicht dieser Ansatz theoretisch das Lernen jedes möglichen agentischen Systems: einschließlich neuartiger Aufforderungen, Werkzeugverwendung, Steuerflüsse und deren Kombinationen. Wir präsentieren einen einfachen, aber effektiven Algorithmus namens Meta Agent Search, um diese Idee zu veranschaulichen, bei dem ein Meta-Agent iterativ interessante neue Agenten basierend auf einem stetig wachsenden Archiv früherer Entdeckungen programmiert. Durch umfangreiche Experimente in verschiedenen Bereichen, einschließlich Codierung, Wissenschaft und Mathematik, zeigen wir, dass unser Algorithmus allmählich Agenten mit neuartigen Designs erfinden kann, die die handentworfenen Agenten auf dem neuesten Stand der Technik deutlich übertreffen. Wichtig ist, dass wir konsistent das überraschende Ergebnis beobachten, dass von Meta Agent Search erfundene Agenten auch bei der Übertragung über verschiedene Bereiche und Modelle hinweg eine überlegene Leistung beibehalten, was ihre Robustheit und Allgemeingültigkeit zeigt. Vorausgesetzt, wir entwickeln es sicher, illustriert unsere Arbeit das Potenzial einer aufregenden neuen Forschungsrichtung zur automatischen Gestaltung immer leistungsstärkerer agentischer Systeme zum Wohle der Menschheit.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.