Informationsgewinn-basierte Politikoptimierung: Ein einfacher und effektiver Ansatz für Multi-Turn-LLM-Agenten

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents

October 16, 2025

papers.authors: Guoqing Wang, Sunhao Dai, Guangze Ye, Zeyu Gan, Wei Yao, Yong Deng, Xiaofeng Wu, Zhenzhe Ying

cs.AI

papers.abstract

Große Sprachmodell (LLM)-basierte Agenten werden zunehmend mit Verstärkungslernen (Reinforcement Learning, RL) trainiert, um ihre Fähigkeit zur Interaktion mit externen Umgebungen durch den Einsatz von Werkzeugen zu verbessern, insbesondere in suchbasierten Szenarien, die mehrstufiges Denken und Wissenserwerb erfordern. Bisherige Ansätze stützen sich jedoch typischerweise auf ergebnisbasierte Belohnungen, die erst bei der endgültigen Antwort bereitgestellt werden. Diese Belohnungssparsamkeit wird insbesondere in mehrstufigen Szenarien problematisch, wo lange Trajektorien zwei kritische Probleme verschärfen: (i) den Vorteilskollaps, bei dem alle Rollouts identische Belohnungen erhalten und keine nützlichen Lernsignale liefern, und (ii) das Fehlen einer feingranularen Zuweisung von Verdiensten, bei dem die Abhängigkeiten zwischen den Schritten verschleiert werden, insbesondere bei langfristigen Aufgaben. In diesem Artikel schlagen wir die Information-Gain-basierte Policy-Optimierung (IGPO) vor, ein einfaches, aber effektives RL-Framework, das dichte und intrinsische Überwachung für das Training mehrstufiger Agenten bietet. IGPO modelliert jeden Interaktionsschritt als einen inkrementellen Prozess des Erwerbs von Informationen über die Grundwahrheit und definiert schrittweise Belohnungen als den marginalen Anstieg der Wahrscheinlichkeit der Policy, die korrekte Antwort zu liefern. Im Gegensatz zu früheren Ansätzen auf Prozessebene, die von externen Belohnungsmodellen oder kostspieligen Monte-Carlo-Schätzungen abhängen, leitet IGPO intrinsische Belohnungen direkt aus den eigenen Glaubensaktualisierungen des Modells ab. Diese intrinsischen schrittweisen Belohnungen werden mit ergebnisbasierter Überwachung kombiniert, um dichte Belohnungstrajektorien zu bilden. Umfangreiche Experimente sowohl auf in-domain als auch out-of-domain Benchmarks zeigen, dass IGPO in mehrstufigen Szenarien durchweg starke Baselines übertrifft und höhere Genauigkeit sowie verbesserte Stichprobeneffizienz erreicht.

English

Large language model (LLM)-based agents are increasingly trained with reinforcement learning (RL) to enhance their ability to interact with external environments through tool use, particularly in search-based settings that require multi-turn reasoning and knowledge acquisition. However, existing approaches typically rely on outcome-based rewards that are only provided at the final answer. This reward sparsity becomes particularly problematic in multi-turn settings, where long trajectories exacerbate two critical issues: (i) advantage collapse, where all rollouts receive identical rewards and provide no useful learning signals, and (ii) lack of fine-grained credit assignment, where dependencies between turns are obscured, especially in long-horizon tasks. In this paper, we propose Information Gain-based Policy Optimization (IGPO), a simple yet effective RL framework that provides dense and intrinsic supervision for multi-turn agent training. IGPO models each interaction turn as an incremental process of acquiring information about the ground truth, and defines turn-level rewards as the marginal increase in the policy's probability of producing the correct answer. Unlike prior process-level reward approaches that depend on external reward models or costly Monte Carlo estimation, IGPO derives intrinsic rewards directly from the model's own belief updates. These intrinsic turn-level rewards are combined with outcome-level supervision to form dense reward trajectories. Extensive experiments on both in-domain and out-of-domain benchmarks demonstrate that IGPO consistently outperforms strong baselines in multi-turn scenarios, achieving higher accuracy and improved sample efficiency.