StraTA: Стимулирование агентного обучения с подкреплением с помощью стратегической абстракции траекторий

StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction

May 7, 2026

Авторы: Xiangyuan Xue, Yifan Zhou, Zidong Wang, Shengji Tang, Philip Torr, Wanli Ouyang, Lei Bai, Zhenfei Yin

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще используются в качестве интерактивных агентов, однако их оптимизация для принятия решений в долгосрочной перспективе остаётся сложной задачей. Это связано с тем, что современные методы в основном являются чисто реактивными, что ослабляет как исследование среды, так и распределение заслуг на протяжённых траекториях. В данной работе мы представляем Strategic Trajectory Abstraction (StraTA) — простую структуру, которая вводит явную траекторную стратегию в агентное обучение с подкреплением (RL). StraTA выбирает компактную стратегию из начального состояния задачи, обусловливает последующие действия этой стратегией и совместно обучает генерацию стратегии и выполнение действий с помощью иерархического подхода к развёртыванию в стиле GRPO, дополнительно усиленного разнообразным развёртыванием стратегий и критической самооценкой. Эксперименты на ALFWorld, WebShop и SciWorld показывают, что StraTA последовательно улучшает как эффективность использования данных, так и итоговую производительность по сравнению с сильными базовыми методами. StraTA достигает показателей успешности 93,1% на ALFWorld и 84,2% на WebShop. На платформе SciWorld модель демонстрирует общий балл 63,5%, превосходя передовые проприетарные модели.

English

Large language models (LLMs) are increasingly used as interactive agents, but optimizing them for long-horizon decision making remains difficult because current methods are largely purely reactive, which weakens both exploration and credit assignment over extended trajectories. In this work, we present Strategic Trajectory Abstraction (StraTA), a simple framework that introduces an explicit trajectory-level strategy into agentic reinforcement learning (RL). StraTA samples a compact strategy from the initial task state, conditions subsequent actions on that strategy, and trains strategy generation and action execution jointly with a hierarchical GRPO-style rollout design, further enhanced by diverse strategy rollout and critical self-judgment. Experiments on ALFWorld, WebShop, and SciWorld show that StraTA consistently improves both sample efficiency and final performance over strong baselines. StraTA reaches success rates of 93.1% on ALFWorld and 84.2% on WebShop. On SciWorld, StraTA attains a 63.5% overall score, outperforming frontier closed-source models.