Символьное обучение обеспечивает саморазвивающихся агентов.

Symbolic Learning Enables Self-Evolving Agents

June 26, 2024

Авторы: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang

cs.AI

Аннотация

Сообщество исследователей в области искусственного интеллекта исследует путь к искусственному общему интеллекту (AGI), разрабатывая "языковых агентов", которые представляют собой сложные крупные модели языка (LLM) с использованием как техник подачи, так и методов использования инструментов. Хотя языковые агенты продемонстрировали впечатляющие возможности для многих задач реального мира, фундаментальным ограничением текущих исследований языковых агентов является то, что они ориентированы на модель или на инженерию. Другими словами, прогресс в области техник подачи, инструментов и конвейеров языковых агентов требует значительных усилий по ручной инженерии от человеческих экспертов, а не автоматического обучения на основе данных. Мы считаем, что переход от ориентации на модель или на инженерию к ориентации на данные, то есть способность языковых агентов автономно учиться и развиваться в средах, является ключом к их возможному достижению AGI. В данной работе мы представляем символическое обучение агентов, систематическую структуру, позволяющую языковым агентам оптимизировать себя самостоятельно в ориентированном на данные способе с использованием символьных оптимизаторов. Конкретно, мы рассматриваем агентов как символьные сети, где обучаемые веса определяются техниками подачи, инструментами и способом их объединения. Символическое обучение агентов разработано для оптимизации символьной сети в языковых агентах путем имитации двух фундаментальных алгоритмов в обучении связанных систем: обратного распространения и градиентного спуска. Вместо работы с числовыми весами символическое обучение агентов работает с естественными языковыми аналогами весов, потерь и градиентов. Мы проводим эксперименты для доказательства концепции как на стандартных бенчмарках, так и на сложных задачах реального мира и показываем, что символическое обучение агентов позволяет языковым агентам обновлять себя после создания и развертывания в дикой среде, приводя к "саморазвивающимся агентам".

English

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".