Языковой агент с нулевым обучением для управления компьютером с использованием структурированного анализа

A Zero-Shot Language Agent for Computer Control with Structured Reflection

October 12, 2023

Авторы: Tao Li, Gang Li, Zhiwei Deng, Bryan Wang, Yang Li

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют растущую способность планировать и выполнять высокоуровневые цели в реальной компьютерной среде (например, MiniWoB++). Для выполнения задачи в последних работах часто требуется, чтобы модель обучалась на примерах трассировок задачи с использованием либо обучения с учителем, либо подсказок с малым/большим количеством примеров. Без таких трассировок остается сложной задачей то, как агент может автономно обучаться и улучшать свое управление компьютером, что ограничивает его способность выполнять новые задачи. Мы подходим к этой проблеме с помощью агента, работающего в режиме "zero-shot", который не требует предоставления экспертных трассировок. Наш агент планирует выполнимые действия в частично наблюдаемой среде и итеративно продвигает задачу, выявляя и обучаясь на своих ошибках через саморефлексию и структурированное управление мыслями. На простых задачах MiniWoB++ мы показываем, что наш агент "zero-shot" часто превосходит последние модели с передовыми результатами (SoTA), демонстрируя более эффективное рассуждение. Для задач с большей сложностью наш рефлексивный агент показывает результаты, сопоставимые с лучшими предыдущими моделями, даже несмотря на то, что в предыдущих работах использовались преимущества доступа к экспертных трассировкам или дополнительной информации с экрана.

English

Large language models (LLMs) have shown increasing capacity at planning and executing a high-level goal in a live computer environment (e.g. MiniWoB++). To perform a task, recent works often require a model to learn from trace examples of the task via either supervised learning or few/many-shot prompting. Without these trace examples, it remains a challenge how an agent can autonomously learn and improve its control on a computer, which limits the ability of an agent to perform a new task. We approach this problem with a zero-shot agent that requires no given expert traces. Our agent plans for executable actions on a partially observed environment, and iteratively progresses a task by identifying and learning from its mistakes via self-reflection and structured thought management. On the easy tasks of MiniWoB++, we show that our zero-shot agent often outperforms recent SoTAs, with more efficient reasoning. For tasks with more complexity, our reflective agent performs on par with prior best models, even though previous works had the advantages of accessing expert traces or additional screen information.