StraTA: Incentivización del Aprendizaje por Refuerzo Agéntico mediante Abstracción Estratégica de Trayectorias
StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction
May 7, 2026
Autores: Xiangyuan Xue, Yifan Zhou, Zidong Wang, Shengji Tang, Philip Torr, Wanli Ouyang, Lei Bai, Zhenfei Yin
cs.AI
Resumen
Los grandes modelos de lenguaje (LLM) se utilizan cada vez más como agentes interactivos, pero optimizarlos para la toma de decisiones a largo plazo sigue siendo difícil, ya que los métodos actuales son en gran medida puramente reactivos, lo que debilita tanto la exploración como la asignación de crédito en trayectorias extensas. En este trabajo, presentamos la Abstracción Estratégica de Trayectorias (StraTA), un marco simple que introduce una estrategia explícita a nivel de trayectoria en el aprendizaje por refuerzo (RL) agéntico. StraTA muestrea una estrategia compacta a partir del estado inicial de la tarea, condiciona las acciones posteriores a dicha estrategia, y entrena la generación de estrategias y la ejecución de acciones de forma conjunta con un diseño de despliegue jerárquico estilo GRPO, mejorado además por un despliegue de estrategias diverso y un autojuicio crítico. Los experimentos en ALFWorld, WebShop y SciWorld muestran que StraTA mejora consistentemente tanto la eficiencia muestral como el rendimiento final respecto a líneas de base sólidas. StraTA alcanza tasas de éxito del 93.1% en ALFWorld y del 84.2% en WebShop. En SciWorld, StraTA logra una puntuación global del 63.5%, superando a modelos propietarios de vanguardia.
English
Large language models (LLMs) are increasingly used as interactive agents, but optimizing them for long-horizon decision making remains difficult because current methods are largely purely reactive, which weakens both exploration and credit assignment over extended trajectories. In this work, we present Strategic Trajectory Abstraction (StraTA), a simple framework that introduces an explicit trajectory-level strategy into agentic reinforcement learning (RL). StraTA samples a compact strategy from the initial task state, conditions subsequent actions on that strategy, and trains strategy generation and action execution jointly with a hierarchical GRPO-style rollout design, further enhanced by diverse strategy rollout and critical self-judgment. Experiments on ALFWorld, WebShop, and SciWorld show that StraTA consistently improves both sample efficiency and final performance over strong baselines. StraTA reaches success rates of 93.1% on ALFWorld and 84.2% on WebShop. On SciWorld, StraTA attains a 63.5% overall score, outperforming frontier closed-source models.