T²PO: Unsicherheitsgesteuerte Explorationskontrolle für stabiles mehrstufiges agentenbasiertes Reinforcement Learning
T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning
May 4, 2026
Autoren: Haixin Wang, Hejie Cui, Chenwei Zhang, Xin Liu, Shuowei Jin, Shijie Geng, Xinyang Zhang, Nasser Zalmout, Zhenyu Shi, Yizhou Sun
cs.AI
Zusammenfassung
Jüngste Fortschritte im mehrstufigen Reinforcement Learning (RL) haben die Leistungen von reasoning LLMs bei komplexen interaktiven Aufgaben erheblich verbessert. Trotz Fortschritten bei Stabilisierungstechniken wie feinkörniger Credit Assignment und Trajektorienfilterung bleibt Instabilität weit verbreitet und führt oft zu Trainingszusammenbrüchen. Wir argumentieren, dass diese Instabilität von ineffizienter Exploration in Mehrschritt-Szenarien herrührt, bei denen Policies weiterhin Low-Information-Aktionen erzeugen, die weder Unsicherheit verringern noch den Aufgabenfortschritt vorantreiben. Um dieses Problem zu lösen, schlagen wir Token- and Turn-level Policy Optimization (T²PO) vor, ein unsicherheitsbewusstes Framework, das Exploration auf feinkörnigen Ebenen explizit steuert. Auf Token-Ebene überwacht T²PO die Unsicherheitsdynamik und löst eine Denkintervention aus, sobald die marginale Unsicherheitsänderung einen Schwellenwert unterschreitet. Auf Turn-Ebene identifiziert T²PO Interaktionen mit vernachlässigbarem Explorationsfortschritt und resampelt solche Turns dynamisch, um verschwendete Rollouts zu vermeiden. Wir evaluieren T²PO in diversen Umgebungen, einschließlich WebShop, ALFWorld und Search QA, und demonstrieren substantielle Verbesserungen in Trainingsstabilität und Leistung bei besserer Explorationseffizienz. Code ist verfügbar unter: https://github.com/WillDreamer/T2PO.
English
Recent progress in multi-turn reinforcement learning (RL) has significantly improved reasoning LLMs' performances on complex interactive tasks. Despite advances in stabilization techniques such as fine-grained credit assignment and trajectory filtering, instability remains pervasive and often leads to training collapse. We argue that this instability stems from inefficient exploration in multi-turn settings, where policies continue to generate low-information actions that neither reduce uncertainty nor advance task progress. To address this issue, we propose Token- and Turn-level Policy Optimization (T^2PO), an uncertainty-aware framework that explicitly controls exploration at fine-grained levels. At the token level, T^2PO monitors uncertainty dynamics and triggers a thinking intervention once the marginal uncertainty change falls below a threshold. At the turn level, T^2PO identifies interactions with negligible exploration progress and dynamically resamples such turns to avoid wasted rollouts. We evaluate T^2PO in diverse environments, including WebShop, ALFWorld, and Search QA, demonstrating substantial gains in training stability and performance improvements with better exploration efficiency. Code is available at: https://github.com/WillDreamer/T2PO.