Informatieverlies-gebaseerd Beleidsoptimalisatie: Een Eenvoudige en Effectieve Aanpak voor Multi-Turn LLM-Agenten

Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents

October 16, 2025

Auteurs: Guoqing Wang, Sunhao Dai, Guangze Ye, Zeyu Gan, Wei Yao, Yong Deng, Xiaofeng Wu, Zhenzhe Ying

cs.AI

Samenvatting

Grote taalmodellen (LLM)-gebaseerde agents worden steeds vaker getraind met reinforcement learning (RL) om hun vermogen te verbeteren om te interageren met externe omgevingen door middel van gereedschapsgebruik, met name in zoekgebaseerde instellingen die multi-turn redenering en kennisverwerving vereisen. Bestaande benaderingen vertrouwen echter meestal op uitkomstgebaseerde beloningen die alleen worden gegeven bij het uiteindelijke antwoord. Deze schaarste aan beloningen wordt vooral problematisch in multi-turn instellingen, waar lange trajecten twee kritieke problemen verergeren: (i) voordeelcollaps, waarbij alle rollouts identieke beloningen ontvangen en geen nuttige leerinformatie bieden, en (ii) gebrek aan fijnmazige krediettoewijzing, waarbij afhankelijkheden tussen beurten worden verdoezeld, vooral in taken met een lange horizon. In dit artikel stellen we Information Gain-based Policy Optimization (IGPO) voor, een eenvoudig maar effectief RL-raamwerk dat dichte en intrinsieke begeleiding biedt voor de training van multi-turn agents. IGPO modelleert elke interactiebeurt als een incrementeel proces van het verwerven van informatie over de grondwaarheid, en definieert beurtniveau beloningen als de marginale toename in de waarschijnlijkheid van het beleid om het juiste antwoord te produceren. In tegenstelling tot eerdere procesniveau beloningsbenaderingen die afhankelijk zijn van externe beloningsmodellen of kostbare Monte Carlo-schattingen, leidt IGPO intrinsieke beloningen direct af uit de eigen geloofsupdates van het model. Deze intrinsieke beurtniveau beloningen worden gecombineerd met uitkomstniveau begeleiding om dichte beloningstrajecten te vormen. Uitgebreide experimenten op zowel in-domein als out-of-domein benchmarks tonen aan dat IGPO consistent sterke basislijnen overtreft in multi-turn scenario's, met hogere nauwkeurigheid en verbeterde steekproefefficiëntie.

English

Large language model (LLM)-based agents are increasingly trained with reinforcement learning (RL) to enhance their ability to interact with external environments through tool use, particularly in search-based settings that require multi-turn reasoning and knowledge acquisition. However, existing approaches typically rely on outcome-based rewards that are only provided at the final answer. This reward sparsity becomes particularly problematic in multi-turn settings, where long trajectories exacerbate two critical issues: (i) advantage collapse, where all rollouts receive identical rewards and provide no useful learning signals, and (ii) lack of fine-grained credit assignment, where dependencies between turns are obscured, especially in long-horizon tasks. In this paper, we propose Information Gain-based Policy Optimization (IGPO), a simple yet effective RL framework that provides dense and intrinsic supervision for multi-turn agent training. IGPO models each interaction turn as an incremental process of acquiring information about the ground truth, and defines turn-level rewards as the marginal increase in the policy's probability of producing the correct answer. Unlike prior process-level reward approaches that depend on external reward models or costly Monte Carlo estimation, IGPO derives intrinsic rewards directly from the model's own belief updates. These intrinsic turn-level rewards are combined with outcome-level supervision to form dense reward trajectories. Extensive experiments on both in-domain and out-of-domain benchmarks demonstrate that IGPO consistently outperforms strong baselines in multi-turn scenarios, achieving higher accuracy and improved sample efficiency.