Retroformer: Agentes de Linguagem de Grande Escala Retrospectivos com Otimização de Gradiente de Política

Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

August 4, 2023

Autores: Weiran Yao, Shelby Heinecke, Juan Carlos Niebles, Zhiwei Liu, Yihao Feng, Le Xue, Rithesh Murthy, Zeyuan Chen, Jianguo Zhang, Devansh Arpit, Ran Xu, Phil Mui, Huan Wang, Caiming Xiong, Silvio Savarese

cs.AI

Resumo

Nos últimos meses, emergiu uma tendência poderosa na qual grandes modelos de linguagem (LLMs) são aprimorados para se tornarem agentes de linguagem autônomos capazes de realizar tarefas multi-etapas orientadas a objetivos por conta própria, em vez de meramente responder a consultas de usuários humanos. No entanto, a maioria dos agentes de linguagem existentes não é otimizada usando recompensas específicas ao ambiente. Embora alguns agentes permitam refinamentos iterativos por meio de feedback verbal, eles não raciocinam e planejam de maneiras compatíveis com o aprendizado baseado em gradientes a partir de recompensas. Este artigo introduz uma estrutura fundamentada para reforçar grandes agentes de linguagem ao aprender um modelo retrospectivo, que ajusta automaticamente os prompts do agente de linguagem a partir do feedback do ambiente por meio de gradiente de política. Especificamente, a arquitetura do agente proposta aprende com recompensas em múltiplos ambientes e tarefas, para ajustar um modelo de linguagem pré-treinado que refina o prompt do agente de linguagem ao resumir a causa raiz de tentativas anteriores falhas e propor planos de ação. Resultados experimentais em várias tarefas demonstram que os agentes de linguagem melhoram ao longo do tempo e que nossa abordagem supera consideravelmente as linhas de base que não aproveitam adequadamente os gradientes do ambiente. Isso demonstra que o uso da otimização por gradiente de política para melhorar agentes de linguagem, para o qual acreditamos que nosso trabalho seja um dos primeiros, parece promissor e pode ser aplicado para otimizar outros modelos na arquitetura do agente, a fim de aprimorar o desempenho dos agentes ao longo do tempo.

English

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.