Otimização de Políticas Baseada em Ganho de Informação: Uma Abordagem Simples e Eficaz para Agentes de LLM em Múltiplos Turnos

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents

October 16, 2025

Autores: Guoqing Wang, Sunhao Dai, Guangze Ye, Zeyu Gan, Wei Yao, Yong Deng, Xiaofeng Wu, Zhenzhe Ying

cs.AI

Resumo

Agentes baseados em grandes modelos de linguagem (LLMs) estão sendo cada vez mais treinados com aprendizado por reforço (RL) para aprimorar sua capacidade de interagir com ambientes externos por meio do uso de ferramentas, especialmente em cenários baseados em busca que exigem raciocínio em múltiplas etapas e aquisição de conhecimento. No entanto, as abordagens existentes geralmente dependem de recompensas baseadas em resultados que são fornecidas apenas na resposta final. Essa escassez de recompensas torna-se particularmente problemática em configurações de múltiplas etapas, onde trajetórias longas exacerbam dois problemas críticos: (i) colapso da vantagem, onde todas as execuções recebem recompensas idênticas e não fornecem sinais úteis de aprendizado, e (ii) falta de atribuição de crédito refinada, onde as dependências entre as etapas são obscurecidas, especialmente em tarefas de longo prazo. Neste artigo, propomos a Otimização de Política baseada em Ganho de Informação (IGPO), uma estrutura de RL simples, mas eficaz, que fornece supervisão densa e intrínseca para o treinamento de agentes em múltiplas etapas. O IGPO modela cada etapa de interação como um processo incremental de aquisição de informações sobre a verdade fundamental e define recompensas em nível de etapa como o aumento marginal na probabilidade da política de produzir a resposta correta. Diferente de abordagens anteriores de recompensa em nível de processo que dependem de modelos de recompensa externos ou de estimativas custosas de Monte Carlo, o IGPO deriva recompensas intrínsecas diretamente das atualizações de crença do próprio modelo. Essas recompensas intrínsecas em nível de etapa são combinadas com supervisão em nível de resultado para formar trajetórias de recompensa densas. Experimentos extensos em benchmarks tanto dentro do domínio quanto fora do domínio demonstram que o IGPO supera consistentemente as linhas de base fortes em cenários de múltiplas etapas, alcançando maior precisão e eficiência amostral aprimorada.

English

Large language model (LLM)-based agents are increasingly trained with reinforcement learning (RL) to enhance their ability to interact with external environments through tool use, particularly in search-based settings that require multi-turn reasoning and knowledge acquisition. However, existing approaches typically rely on outcome-based rewards that are only provided at the final answer. This reward sparsity becomes particularly problematic in multi-turn settings, where long trajectories exacerbate two critical issues: (i) advantage collapse, where all rollouts receive identical rewards and provide no useful learning signals, and (ii) lack of fine-grained credit assignment, where dependencies between turns are obscured, especially in long-horizon tasks. In this paper, we propose Information Gain-based Policy Optimization (IGPO), a simple yet effective RL framework that provides dense and intrinsic supervision for multi-turn agent training. IGPO models each interaction turn as an incremental process of acquiring information about the ground truth, and defines turn-level rewards as the marginal increase in the policy's probability of producing the correct answer. Unlike prior process-level reward approaches that depend on external reward models or costly Monte Carlo estimation, IGPO derives intrinsic rewards directly from the model's own belief updates. These intrinsic turn-level rewards are combined with outcome-level supervision to form dense reward trajectories. Extensive experiments on both in-domain and out-of-domain benchmarks demonstrate that IGPO consistently outperforms strong baselines in multi-turn scenarios, achieving higher accuracy and improved sample efficiency.