T²PO: Controle de Exploração Guiado por Incerteza para Aprendizagem por Reforço Agêntica Estável em Múltiplos Turnos

Resumo

Os recentes avanços no aprendizado por reforço (RL) multietapa melhoraram significativamente o desempenho de LLMs de raciocínio em tarefas interativas complexas. Apesar dos progressos em técnicas de estabilização, como a atribuição de crédito refinada e a filtragem de trajetórias, a instabilidade permanece difusa e frequentemente leva ao colapso do treinamento. Argumentamos que essa instabilidade decorre de uma exploração ineficiente em configurações multietapa, onde as políticas continuam a gerar ações de baixa informação que nem reduzem a incerteza nem avançam o progresso da tarefa. Para resolver esse problema, propomos o Token- and Turn-level Policy Optimization (T²PO), uma estrutura consciente da incerteza que controla explicitamente a exploração em níveis refinados. No nível do token, o T²PO monitora a dinâmica da incerteza e aciona uma intervenção de pensamento quando a mudança marginal da incerteza cai abaixo de um limiar. No nível da etapa, o T²PO identifica interações com progresso de exploração insignificante e reamostra dinamicamente essas etapas para evitar rollouts desperdiçados. Avaliamos o T²PO em diversos ambientes, incluindo WebShop, ALFWorld e Search QA, demonstrando ganhos substanciais na estabilidade do treinamento e melhorias de desempenho com maior eficiência de exploração. O código está disponível em: https://github.com/WillDreamer/T2PO.

English

Recent progress in multi-turn reinforcement learning (RL) has significantly improved reasoning LLMs' performances on complex interactive tasks. Despite advances in stabilization techniques such as fine-grained credit assignment and trajectory filtering, instability remains pervasive and often leads to training collapse. We argue that this instability stems from inefficient exploration in multi-turn settings, where policies continue to generate low-information actions that neither reduce uncertainty nor advance task progress. To address this issue, we propose Token- and Turn-level Policy Optimization (T^2PO), an uncertainty-aware framework that explicitly controls exploration at fine-grained levels. At the token level, T^2PO monitors uncertainty dynamics and triggers a thinking intervention once the marginal uncertainty change falls below a threshold. At the turn level, T^2PO identifies interactions with negligible exploration progress and dynamically resamples such turns to avoid wasted rollouts. We evaluate T^2PO in diverse environments, including WebShop, ALFWorld, and Search QA, demonstrating substantial gains in training stability and performance improvements with better exploration efficiency. Code is available at: https://github.com/WillDreamer/T2PO.