Ottimizzazione delle Politiche basata sul Guadagno di Informazione: Un Approccio Semplice ed Efficace per Agenti LLM Multi-Turn

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents

October 16, 2025

Autori: Guoqing Wang, Sunhao Dai, Guangze Ye, Zeyu Gan, Wei Yao, Yong Deng, Xiaofeng Wu, Zhenzhe Ying

cs.AI

Abstract

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) vengono sempre più addestrati con l'apprendimento per rinforzo (RL) per migliorare la loro capacità di interagire con ambienti esterni attraverso l'uso di strumenti, in particolare in contesti basati sulla ricerca che richiedono ragionamenti a più turni e acquisizione di conoscenze. Tuttavia, gli approcci esistenti si basano tipicamente su ricompense basate sui risultati, fornite solo alla risposta finale. Questa scarsità di ricompense diventa particolarmente problematica in contesti a più turni, dove traiettorie lunghe esacerbano due problemi critici: (i) il collasso del vantaggio, in cui tutti i rollout ricevono ricompense identiche e non forniscono segnali di apprendimento utili, e (ii) la mancanza di un'assegnazione di credito granulare, dove le dipendenze tra i turni sono oscurate, specialmente in compiti a lungo termine. In questo articolo, proponiamo l'ottimizzazione delle politiche basata sul guadagno di informazione (IGPO), un framework RL semplice ma efficace che fornisce una supervisione densa e intrinseca per l'addestramento di agenti a più turni. IGPO modella ogni turno di interazione come un processo incrementale di acquisizione di informazioni sulla verità di base e definisce le ricompense a livello di turno come l'aumento marginale nella probabilità della politica di produrre la risposta corretta. A differenza degli approcci precedenti basati su ricompense a livello di processo che dipendono da modelli di ricompensa esterni o da costose stime Monte Carlo, IGPO deriva ricompense intrinseche direttamente dagli aggiornamenti delle credenze del modello stesso. Queste ricompense intrinseche a livello di turno sono combinate con la supervisione a livello di risultato per formare traiettorie di ricompensa dense. Esperimenti estesi su benchmark sia in dominio che fuori dominio dimostrano che IGPO supera costantemente baseline forti in scenari a più turni, raggiungendo una maggiore accuratezza e una migliore efficienza campionaria.

English

Large language model (LLM)-based agents are increasingly trained with reinforcement learning (RL) to enhance their ability to interact with external environments through tool use, particularly in search-based settings that require multi-turn reasoning and knowledge acquisition. However, existing approaches typically rely on outcome-based rewards that are only provided at the final answer. This reward sparsity becomes particularly problematic in multi-turn settings, where long trajectories exacerbate two critical issues: (i) advantage collapse, where all rollouts receive identical rewards and provide no useful learning signals, and (ii) lack of fine-grained credit assignment, where dependencies between turns are obscured, especially in long-horizon tasks. In this paper, we propose Information Gain-based Policy Optimization (IGPO), a simple yet effective RL framework that provides dense and intrinsic supervision for multi-turn agent training. IGPO models each interaction turn as an incremental process of acquiring information about the ground truth, and defines turn-level rewards as the marginal increase in the policy's probability of producing the correct answer. Unlike prior process-level reward approaches that depend on external reward models or costly Monte Carlo estimation, IGPO derives intrinsic rewards directly from the model's own belief updates. These intrinsic turn-level rewards are combined with outcome-level supervision to form dense reward trajectories. Extensive experiments on both in-domain and out-of-domain benchmarks demonstrate that IGPO consistently outperforms strong baselines in multi-turn scenarios, achieving higher accuracy and improved sample efficiency.