Conception Automatisée de Systèmes Agentiels

Automated Design of Agentic Systems

August 15, 2024

Auteurs: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

Résumé

Les chercheurs consacrent des efforts considérables au développement d'agents polyvalents puissants, où les modèles de base (Foundation Models) sont utilisés comme modules au sein de systèmes agentiques (par exemple, Chain-of-Thought, Self-Reflection, Toolformer). Cependant, l'histoire de l'apprentissage automatique nous enseigne que les solutions conçues manuellement finissent par être remplacées par des solutions apprises. Nous formulons un nouveau domaine de recherche, la Conception Automatisée de Systèmes Agentiques (ADAS), qui vise à créer automatiquement des conceptions de systèmes agentiques puissants, incluant l'invention de nouveaux blocs de construction et/ou leur combinaison de manière innovante. Nous démontrons en outre qu'il existe une approche inexplorée mais prometteuse au sein de l'ADAS où les agents peuvent être définis en code et où de nouveaux agents peuvent être automatiquement découverts par un méta-agent programmant des agents toujours plus performants en code. Étant donné que les langages de programmation sont Turing-complets, cette approche permet théoriquement l'apprentissage de tout système agentique possible : y compris des invites novatrices, l'utilisation d'outils, des flux de contrôle et leurs combinaisons. Nous présentons un algorithme simple mais efficace nommé Meta Agent Search pour illustrer cette idée, où un méta-agent programme itérativement de nouveaux agents intéressants en s'appuyant sur une archive en constante expansion des découvertes précédentes. À travers des expériences approfondies dans plusieurs domaines, notamment le codage, les sciences et les mathématiques, nous montrons que notre algorithme peut progressivement inventer des agents avec des conceptions novatrices qui surpassent largement les agents conçus manuellement à la pointe de la technologie. Fait important, nous observons systématiquement le résultat surprenant que les agents inventés par Meta Agent Search maintiennent une performance supérieure même lorsqu'ils sont transférés entre domaines et modèles, démontrant ainsi leur robustesse et leur généralité. À condition de le développer de manière sûre, notre travail illustre le potentiel d'une nouvelle direction de recherche passionnante vers la conception automatique de systèmes agentiques toujours plus puissants pour le bénéfice de l'humanité.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.