T^2PO: Управление исследованием на основе неопределенности для стабильного многопроходного агентного обучения с подкреплением
T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning
May 4, 2026
Авторы: Haixin Wang, Hejie Cui, Chenwei Zhang, Xin Liu, Shuowei Jin, Shijie Geng, Xinyang Zhang, Nasser Zalmout, Zhenyu Shi, Yizhou Sun
cs.AI
Аннотация
Недавние достижения в области многошагового обучения с подкреплением (RL) значительно повысили производительность языковых моделей на сложных интерактивных задачах. Несмотря на прогресс в методах стабилизации, таких как детальное распределение заслуг и фильтрация траекторий, нестабильность остается повсеместной проблемой и часто приводит к коллапсу обучения. Мы утверждаем, что эта нестабильность проистекает из неэффективного исследования в многошаговых сценариях, где политики продолжают генерировать малополезные действия, которые не снижают неопределенность и не продвигают решение задачи. Для решения этой проблемы мы предлагаем Оптимизацию Политики на Уровне Токенов и Ходов (T²PO) — фреймворк, учитывающий неопределенность и явно управляющий исследованием на детальном уровне. На уровне токенов T²PO отслеживает динамику неопределенности и активирует интервенцию "размышления", когда маргинальное изменение неопределенности падает ниже порога. На уровне ходов T²PO идентифицирует взаимодействия с незначительным прогрессом исследования и динамически перевыбирает такие ходы, чтобы избежать бесполезных прогонов. Мы оцениваем T²PO в различных средах, включая WebShop, ALFWorld и Search QA, демонстрируя существенное улучшение стабильности обучения и производительности благодаря лучшей эффективности исследования. Код доступен по адресу: https://github.com/WillDreamer/T2PO.
English
Recent progress in multi-turn reinforcement learning (RL) has significantly improved reasoning LLMs' performances on complex interactive tasks. Despite advances in stabilization techniques such as fine-grained credit assignment and trajectory filtering, instability remains pervasive and often leads to training collapse. We argue that this instability stems from inefficient exploration in multi-turn settings, where policies continue to generate low-information actions that neither reduce uncertainty nor advance task progress. To address this issue, we propose Token- and Turn-level Policy Optimization (T^2PO), an uncertainty-aware framework that explicitly controls exploration at fine-grained levels. At the token level, T^2PO monitors uncertainty dynamics and triggers a thinking intervention once the marginal uncertainty change falls below a threshold. At the turn level, T^2PO identifies interactions with negligible exploration progress and dynamically resamples such turns to avoid wasted rollouts. We evaluate T^2PO in diverse environments, including WebShop, ALFWorld, and Search QA, demonstrating substantial gains in training stability and performance improvements with better exploration efficiency. Code is available at: https://github.com/WillDreamer/T2PO.