PRInTS: Beloningsmodellering voor informatiezoektochten op lange termijn

PRInTS: Reward Modeling for Long-Horizon Information Seeking

November 24, 2025

Auteurs: Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Samenvatting

Informatie zoeken is een kernvaardigheid voor AI-agenten, die vereist dat ze informatie verzamelen die door tools is gegenereerd en hierover redeneren over lange trajecten. Dergelijke meerstaps taken voor informatievergaring blijven echter een uitdaging voor agenten die worden aangedreven door taalmodel(len). Hoewel procesbeloningsmodellen (PRM's) agenten kunnen sturen door kandidaatstappen tijdens tests te rangschikken, kunnen bestaande PRM's, die zijn ontworpen voor kort redeneren met binaire beoordeling, geen rijkere dimensies van informatiezoekstappen vastleggen, zoals toolinteracties en redeneren over tooloutputs, noch omgaan met de snel groeiende context in taken met een lange tijdshorizon. Om deze beperkingen aan te pakken, introduceren we PRInTS, een generatief PRM dat is getraind met dubbele capaciteiten: (1) dichte scoring op basis van de redenering van het PRM over meerdere dimensies van stapkwaliteit (bijv. interpretatie van tooloutputs, informatieve waarde van toolaanroepen) en (2) trajectsamenvatting die de groeiende context comprimeert terwijl essentiële informatie voor stapevaluatie behouden blijft. Uitgebreide evaluaties op de benchmarks FRAMES, GAIA (niveaus 1-3) en WebWalkerQA (makkelijk-moeilijk) voor meerdere modellen, samen met ablatiestudies, tonen aan dat best-of-n bemonstering met PRInTS de informatiezoekvaardigheden van open-source modellen evenals gespecialiseerde agenten verbetert, waarbij de prestaties van frontiermodellen worden geëvenaard of overtroffen met een veel kleinere backbone-agent en waarbij andere sterke beloningsmodelleer-baselines worden overtroffen.

English

Information-seeking is a core capability for AI agents, requiring them to gather and reason over tool-generated information across long trajectories. However, such multi-step information-seeking tasks remain challenging for agents backed by language models. While process reward models (PRMs) can guide agents by ranking candidate steps at test-time, existing PRMs, designed for short reasoning with binary judgment, cannot capture richer dimensions of information-seeking steps, such as tool interactions and reasoning over tool outputs, nor handle the rapidly growing context in long-horizon tasks. To address these limitations, we introduce PRInTS, a generative PRM trained with dual capabilities: (1) dense scoring based on the PRM's reasoning across multiple step quality dimensions (e.g., interpretation of tool outputs, tool call informativeness) and (2) trajectory summarization that compresses the growing context while preserving essential information for step evaluation. Extensive evaluations across FRAMES, GAIA (levels 1-3), and WebWalkerQA (easy-hard) benchmarks on multiple models, along with ablations, reveal that best-of-n sampling with PRInTS enhances information-seeking abilities of open-source models as well as specialized agents, matching or surpassing the performance of frontier models with a much smaller backbone agent and outperforming other strong reward modeling baselines.