Автоматизированный дизайн агентных систем

Automated Design of Agentic Systems

August 15, 2024

Авторы: Shengran Hu, Cong Lu, Jeff Clune

cs.AI

Аннотация

Исследователи вкладывают значительные усилия в разработку мощных универсальных агентов, где Фундаментальные Модели используются в качестве модулей в составе агентных систем (например, Цепочка Мыслей, Саморефлексия, Формирование Инструментов). Однако история машинного обучения учит нас тому, что решения, разработанные вручную, в конечном итоге заменяются обученными решениями. Мы формулируем новую область исследований, Автоматизированный Дизайн Агентных Систем (ADAS), цель которой заключается в автоматическом создании мощных дизайнов агентных систем, включая изобретение новых строительных блоков и/или их комбинирование новыми способами. Мы также демонстрируем, что существует неисследованный, но многообещающий подход в рамках ADAS, где агенты могут быть определены в коде, а новые агенты могут быть автоматически обнаружены мета-агентом, программированием все более совершенных агентов в коде. Учитывая, что языки программирования являются Тьюринг-полными, этот подход теоретически позволяет изучать любую возможную агентную систему: включая новые подсказки, использование инструментов, управляющие потоки и их комбинации. Мы представляем простой, но эффективный алгоритм под названием Поиск Мета-Агента, чтобы продемонстрировать эту идею, где мета-агент итеративно программировать интересные новые агенты на основе постоянно растущего архива предыдущих открытий. Через обширные эксперименты в различных областях, включая программирование, науку и математику, мы показываем, что наш алгоритм постепенно изобретает агентов с новыми дизайнами, которые значительно превосходят современные агенты, разработанные вручную. Важно отметить, что мы последовательно наблюдаем удивительный результат: агенты, изобретенные Поиском Мета-Агента, сохраняют превосходную производительность даже при переносе между областями и моделями, демонстрируя их устойчивость и общность. При условии безопасной разработки, наша работа иллюстрирует потенциал захватывающего нового направления исследований в направлении автоматического проектирования все более мощных агентных систем во благо человечества.

English

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We formulate a new research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, control flows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.