Retroformer: Ретроспективные крупные языковые агенты с оптимизацией методом градиента политики

Аннотация

В последние месяцы наблюдается появление мощного нового тренда, в рамках которого крупные языковые модели (LLM) дополняются для превращения в автономные языковые агенты, способные самостоятельно выполнять многошаговые задачи, ориентированные на достижение целей, а не просто отвечать на запросы пользователей. Однако большинство существующих языковых агентов не оптимизируются с использованием вознаграждений, специфичных для среды. Хотя некоторые агенты позволяют итеративно улучшать результаты через вербальную обратную связь, они не рассуждают и не планируют способами, совместимыми с градиентным обучением на основе вознаграждений. В данной статье представлена принципиальная структура для усиления крупных языковых агентов путем обучения ретроспективной модели, которая автоматически настраивает подсказки для языкового агента на основе обратной связи от среды через метод градиента политики. В частности, предлагаемая архитектура агента обучается на вознаграждениях в различных средах и задачах, чтобы тонко настраивать предварительно обученную языковую модель, которая уточняет подсказку для агента, суммируя корневые причины предыдущих неудачных попыток и предлагая планы действий. Экспериментальные результаты на различных задачах показывают, что языковые агенты со временем улучшаются, и наш подход значительно превосходит базовые методы, которые не используют градиенты из среды должным образом. Это демонстрирует, что использование оптимизации градиента политики для улучшения языковых агентов, что, как мы считаем, является одним из первых примеров в нашей работе, выглядит перспективным и может быть применено для оптимизации других моделей в архитектуре агента с целью повышения их производительности со временем.

English

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.

Retroformer: Ретроспективные крупные языковые агенты с оптимизацией методом градиента политики

Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

Аннотация

Support