Diseño Automatizado de Sistemas Agentes

Resumen

Los investigadores están invirtiendo un esfuerzo sustancial en desarrollar agentes generales potentes, donde los Modelos Fundamentales se utilizan como módulos dentro de sistemas agentes (por ejemplo, Cadena de Pensamiento, Autorreflexión, Formador de Herramientas). Sin embargo, la historia del aprendizaje automático nos enseña que las soluciones diseñadas a mano son eventualmente reemplazadas por soluciones aprendidas. Formulamos un nuevo área de investigación, Diseño Automatizado de Sistemas Agentes (ADAS), que tiene como objetivo crear automáticamente diseños de sistemas agentes potentes, incluyendo la invención de bloques de construcción novedosos y/o combinándolos de nuevas formas. Demostramos además que hay un enfoque aún no explorado pero prometedor dentro de ADAS donde los agentes pueden ser definidos en código y nuevos agentes pueden ser descubiertos automáticamente por un metaagente programando cada vez mejores en código. Dado que los lenguajes de programación son Turing Completos, este enfoque teóricamente permite el aprendizaje de cualquier sistema agente posible: incluyendo indicaciones novedosas, uso de herramientas, flujos de control y combinaciones de los mismos. Presentamos un algoritmo simple pero efectivo llamado Búsqueda de Metaagente para demostrar esta idea, donde un metaagente programa iterativamente nuevos agentes interesantes basados en un archivo en constante crecimiento de descubrimientos previos. A través de experimentos extensos en múltiples dominios incluyendo codificación, ciencia y matemáticas, mostramos que nuestro algoritmo puede inventar progresivamente agentes con diseños novedosos que superan ampliamente a los agentes diseñados a mano de vanguardia. Es importante destacar que observamos consistentemente el resultado sorprendente de que los agentes inventados por la Búsqueda de Metaagentes mantienen un rendimiento superior incluso al ser transferidos entre dominios y modelos, demostrando su robustez y generalidad. Si lo desarrollamos de manera segura, nuestro trabajo ilustra el potencial de una emocionante nueva dirección de investigación hacia el diseño automático de sistemas agentes cada vez más potentes para beneficiar a la humanidad.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.