Retroformer: Retrospectieve Taalmodellen met Policy Gradient Optimalisatie

Samenvatting

De afgelopen maanden is er een krachtige nieuwe trend ontstaan waarin grote taalmodellen (LLMs) worden uitgebreid tot autonome taalagentschappen die in staat zijn om doelgerichte, meerstaps taken zelfstandig uit te voeren, in plaats van alleen te reageren op vragen van menselijke gebruikers. De meeste bestaande taalagentschappen zijn echter niet geoptimaliseerd met omgevingsspecifieke beloningen. Hoewel sommige agentschappen iteratieve verfijning mogelijk maken door middel van verbale feedback, redeneren en plannen ze niet op manieren die compatibel zijn met op gradiënten gebaseerd leren van beloningen. Dit artikel introduceert een principieel raamwerk voor het versterken van grote taalagentschappen door het leren van een retrospectief model, dat automatisch de prompts van het taalagentschap afstelt op basis van omgevingsfeedback via beleidsgradiënten. Specifiek leert onze voorgestelde agentarchitectuur van beloningen over meerdere omgevingen en taken, om een vooraf getraind taalmodel te finetunen dat de prompt van het taalagentschap verfijnt door de oorzaak van eerdere mislukte pogingen samen te vatten en actieplannen voor te stellen. Experimentele resultaten op verschillende taken tonen aan dat de taalagentschappen in de loop van de tijd verbeteren en dat onze aanpak aanzienlijk beter presteert dan baseline-methoden die niet correct gebruikmaken van gradiënten uit de omgeving. Dit toont aan dat het gebruik van beleidsgradiëntoptimalisatie om taalagentschappen te verbeteren, waarvan wij geloven dat ons werk een van de eerste is, veelbelovend lijkt en kan worden toegepast om andere modellen in de agentarchitectuur te optimaliseren om de prestaties van agentschappen in de loop van de tijd te verbeteren.

English

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.

Retroformer: Retrospectieve Taalmodellen met Policy Gradient Optimalisatie

Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

Samenvatting

Support