Um Agente de Linguagem Zero-Shot para Controle de Computadores com Reflexão Estruturada

A Zero-Shot Language Agent for Computer Control with Structured Reflection

October 12, 2023

Autores: Tao Li, Gang Li, Zhiwei Deng, Bryan Wang, Yang Li

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado uma capacidade crescente de planejar e executar um objetivo de alto nível em um ambiente computacional em tempo real (por exemplo, MiniWoB++). Para realizar uma tarefa, trabalhos recentes frequentemente exigem que um modelo aprenda a partir de exemplos de traços da tarefa por meio de aprendizado supervisionado ou de prompts com poucos/muitos exemplos. Sem esses traços de exemplos, continua sendo um desafio como um agente pode aprender e melhorar autonomamente seu controle em um computador, o que limita a capacidade de um agente de executar uma nova tarefa. Abordamos esse problema com um agente zero-shot que não requer traços de especialistas fornecidos. Nosso agente planeja ações executáveis em um ambiente parcialmente observado e avança iterativamente em uma tarefa, identificando e aprendendo com seus erros por meio de autorreflexão e gerenciamento estruturado de pensamentos. Nas tarefas mais simples do MiniWoB++, mostramos que nosso agente zero-shot frequentemente supera os SoTAs (state-of-the-art) recentes, com raciocínio mais eficiente. Para tarefas com maior complexidade, nosso agente reflexivo tem um desempenho comparável aos melhores modelos anteriores, mesmo que trabalhos anteriores tivessem a vantagem de acessar traços de especialistas ou informações adicionais da tela.

English

Large language models (LLMs) have shown increasing capacity at planning and executing a high-level goal in a live computer environment (e.g. MiniWoB++). To perform a task, recent works often require a model to learn from trace examples of the task via either supervised learning or few/many-shot prompting. Without these trace examples, it remains a challenge how an agent can autonomously learn and improve its control on a computer, which limits the ability of an agent to perform a new task. We approach this problem with a zero-shot agent that requires no given expert traces. Our agent plans for executable actions on a partially observed environment, and iteratively progresses a task by identifying and learning from its mistakes via self-reflection and structured thought management. On the easy tasks of MiniWoB++, we show that our zero-shot agent often outperforms recent SoTAs, with more efficient reasoning. For tasks with more complexity, our reflective agent performs on par with prior best models, even though previous works had the advantages of accessing expert traces or additional screen information.