Retroformer: Retrospektive Large Language Agents mit Policy-Gradient-Optimierung

papers.abstract

In den letzten Monaten hat sich ein neuer, vielversprechender Trend entwickelt, bei dem große Sprachmodelle (LLMs) erweitert werden, um autonome Sprachagenten zu schaffen, die in der Lage sind, zielorientierte, mehrstufige Aufgaben eigenständig auszuführen, anstatt lediglich auf Anfragen menschlicher Benutzer zu reagieren. Die meisten bestehenden Sprachagenten sind jedoch nicht durch umgebungsspezifische Belohnungen optimiert. Obwohl einige Agenten eine iterative Verbesserung durch verbales Feedback ermöglichen, planen und argumentieren sie nicht auf eine Weise, die mit einem gradientenbasierten Lernen aus Belohnungen kompatibel ist. Dieses Papier stellt ein prinzipielles Framework vor, um große Sprachagenten durch das Lernen eines retrospektiven Modells zu verstärken, das die Prompts des Sprachagenten automatisch durch Policy-Gradient-Methoden anhand von Umgebungsfeedback anpasst. Konkret lernt unsere vorgeschlagene Agentenarchitektur aus Belohnungen über mehrere Umgebungen und Aufgaben hinweg, um ein vortrainiertes Sprachmodell zu feinabstimmen, das den Prompt des Sprachagenten verfeinert, indem es die Ursache früherer Fehlversuche zusammenfasst und Aktionspläne vorschlägt. Experimentelle Ergebnisse zu verschiedenen Aufgaben zeigen, dass die Sprachagenten sich im Laufe der Zeit verbessern und dass unser Ansatz Baseline-Methoden, die Gradienten aus der Umgebung nicht effektiv nutzen, deutlich übertrifft. Dies verdeutlicht, dass die Optimierung von Sprachagenten durch Policy-Gradient-Methoden, wofür unsere Arbeit eine der ersten ist, vielversprechend ist und auf andere Modelle in der Agentenarchitektur angewendet werden kann, um die Leistung der Agenten im Laufe der Zeit zu steigern.

English

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.

Retroformer: Retrospektive Large Language Agents mit Policy-Gradient-Optimierung

Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

papers.abstract

Support