T²PO: Onzekerheidsgestuurde Verkenning voor Stabiele Multi-Turn Agentische Versterkingsleren
T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning
May 4, 2026
Auteurs: Haixin Wang, Hejie Cui, Chenwei Zhang, Xin Liu, Shuowei Jin, Shijie Geng, Xinyang Zhang, Nasser Zalmout, Zhenyu Shi, Yizhou Sun
cs.AI
Samenvatting
Recente vooruitgang in multi-turn reinforcement learning (RL) heeft de prestaties van redenerende grote taalmodelen (LLMs) op complexe interactieve taken aanzienlijk verbeterd. Ondanks vorderingen in stabilisatietechnieken zoals fijnmazige credit assignment en trajectfiltering, blijft instabiliteit wijdverbreid en leidt dit vaak tot trainingscollaps. Wij stellen dat deze instabiliteit voortvloeit uit inefficiënte exploratie in multi-turn settings, waarbij beleidsmodellen aanhouden met het genereren van acties met weinig informatie, die noch onzekerheid verminderen noch de taakvoortgang bevorderen. Om dit probleem aan te pakken, stellen wij Token- en Turn-level Policy Optimization (T²PO) voor, een onzekerheidsbewust raamwerk dat exploratie expliciet aanstuurt op fijnmazige niveaus. Op tokenniveau monitort T²PO de onzekerheidsdynamiek en activeert het een denkinterventie zodra de marginale onzekerheidsverandering onder een drempelwaarde zakt. Op turnniveau identificeert T²PO interacties met verwaarloosbare exploratievooruitgang en resamplet het dergelijke turns dynamisch om verspilling van rollouts te voorkomen. Wij evalueren T²PO in diverse omgevingen, waaronder WebShop, ALFWorld en Search QA, en tonen substantiële winst aan in trainingsstabiliteit en prestatieverbeteringen met een betere exploratie-efficiëntie. Code is beschikbaar op: https://github.com/WillDreamer/T2PO.
English
Recent progress in multi-turn reinforcement learning (RL) has significantly improved reasoning LLMs' performances on complex interactive tasks. Despite advances in stabilization techniques such as fine-grained credit assignment and trajectory filtering, instability remains pervasive and often leads to training collapse. We argue that this instability stems from inefficient exploration in multi-turn settings, where policies continue to generate low-information actions that neither reduce uncertainty nor advance task progress. To address this issue, we propose Token- and Turn-level Policy Optimization (T^2PO), an uncertainty-aware framework that explicitly controls exploration at fine-grained levels. At the token level, T^2PO monitors uncertainty dynamics and triggers a thinking intervention once the marginal uncertainty change falls below a threshold. At the turn level, T^2PO identifies interactions with negligible exploration progress and dynamically resamples such turns to avoid wasted rollouts. We evaluate T^2PO in diverse environments, including WebShop, ALFWorld, and Search QA, demonstrating substantial gains in training stability and performance improvements with better exploration efficiency. Code is available at: https://github.com/WillDreamer/T2PO.