Optimización de Políticas Basada en Ganancia de Información: Un Enfoque Simple y Efectivo para Agentes de LLM de Múltiples Turnos

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents

October 16, 2025

Autores: Guoqing Wang, Sunhao Dai, Guangze Ye, Zeyu Gan, Wei Yao, Yong Deng, Xiaofeng Wu, Zhenzhe Ying

cs.AI

Resumen

Los agentes basados en modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) se entrenan cada vez más con aprendizaje por refuerzo (RL, por sus siglas en inglés) para mejorar su capacidad de interactuar con entornos externos mediante el uso de herramientas, especialmente en entornos basados en búsqueda que requieren razonamiento de múltiples turnos y adquisición de conocimiento. Sin embargo, los enfoques existentes suelen depender de recompensas basadas en resultados que solo se proporcionan en la respuesta final. Esta escasez de recompensas se vuelve particularmente problemática en configuraciones de múltiples turnos, donde trayectorias largas exacerban dos problemas críticos: (i) el colapso de la ventaja, donde todas las simulaciones reciben recompensas idénticas y no proporcionan señales de aprendizaje útiles, y (ii) la falta de asignación de crédito detallada, donde las dependencias entre turnos se oscurecen, especialmente en tareas de largo plazo. En este artículo, proponemos la Optimización de Políticas basada en Ganancia de Información (IGPO, por sus siglas en inglés), un marco de RL simple pero efectivo que proporciona supervisión densa e intrínseca para el entrenamiento de agentes de múltiples turnos. IGPO modela cada turno de interacción como un proceso incremental de adquisición de información sobre la verdad fundamental y define las recompensas a nivel de turno como el aumento marginal en la probabilidad de que la política produzca la respuesta correcta. A diferencia de enfoques previos de recompensas a nivel de proceso que dependen de modelos de recompensa externos o costosas estimaciones de Monte Carlo, IGPO deriva recompensas intrínsecas directamente de las actualizaciones de creencias del propio modelo. Estas recompensas intrínsecas a nivel de turno se combinan con la supervisión a nivel de resultado para formar trayectorias de recompensa densas. Experimentos extensos en benchmarks tanto dentro como fuera del dominio demuestran que IGPO supera consistentemente a líneas de base sólidas en escenarios de múltiples turnos, logrando una mayor precisión y una eficiencia de muestreo mejorada.

English

Large language model (LLM)-based agents are increasingly trained with reinforcement learning (RL) to enhance their ability to interact with external environments through tool use, particularly in search-based settings that require multi-turn reasoning and knowledge acquisition. However, existing approaches typically rely on outcome-based rewards that are only provided at the final answer. This reward sparsity becomes particularly problematic in multi-turn settings, where long trajectories exacerbate two critical issues: (i) advantage collapse, where all rollouts receive identical rewards and provide no useful learning signals, and (ii) lack of fine-grained credit assignment, where dependencies between turns are obscured, especially in long-horizon tasks. In this paper, we propose Information Gain-based Policy Optimization (IGPO), a simple yet effective RL framework that provides dense and intrinsic supervision for multi-turn agent training. IGPO models each interaction turn as an incremental process of acquiring information about the ground truth, and defines turn-level rewards as the marginal increase in the policy's probability of producing the correct answer. Unlike prior process-level reward approaches that depend on external reward models or costly Monte Carlo estimation, IGPO derives intrinsic rewards directly from the model's own belief updates. These intrinsic turn-level rewards are combined with outcome-level supervision to form dense reward trajectories. Extensive experiments on both in-domain and out-of-domain benchmarks demonstrate that IGPO consistently outperforms strong baselines in multi-turn scenarios, achieving higher accuracy and improved sample efficiency.