PRInTS: Modellazione della Ricompensa per la Ricerca di Informazioni a Lungo Orizzonte
PRInTS: Reward Modeling for Long-Horizon Information Seeking
November 24, 2025
Autori: Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal
cs.AI
Abstract
La ricerca di informazioni è una capacità fondamentale per gli agenti di IA, che richiede loro di raccogliere e ragionare su informazioni generate da strumenti attraverso traiettorie lunghe. Tuttavia, tali compiti di ricerca di informazioni multi-step rimangono impegnativi per gli agenti basati su modelli linguistici. Sebbene i modelli di ricompensa di processo (PRM) possano guidare gli agenti classificando i passi candidati durante il test, i PRM esistenti, progettati per ragionamenti brevi con giudizi binari, non riescono a catturare le dimensioni più ricche dei passi di ricerca di informazioni, come le interazioni con gli strumenti e il ragionamento sui loro output, né a gestire il contesto in rapida crescita nei compiti a lungo termine. Per affrontare queste limitazioni, introduciamo PRInTS, un PRM generativo addestrato con capacità duali: (1) valutazione densa basata sul ragionamento del PRM attraverso multiple dimensioni di qualità del passo (ad esempio, interpretazione degli output degli strumenti, informatività della chiamata allo strumento) e (2) riassunto della traiettoria che comprime il contesto crescente preservando le informazioni essenziali per la valutazione del passo. Valutazioni estese su benchmark come FRAMES, GAIA (livelli 1-3) e WebWalkerQA (facile-difficile) con modelli multipli, insieme ad ablazioni, rivelano che il campionamento "best-of-n" con PRInTS potenzia le abilità di ricerca di informazioni dei modelli open-source e degli agenti specializzati, eguagliando o superando le prestazioni di modelli all'avanguardia con un agente backbone molto più piccolo e superando altri solidi baseline di modellazione della ricompensa.
English
Information-seeking is a core capability for AI agents, requiring them to gather and reason over tool-generated information across long trajectories. However, such multi-step information-seeking tasks remain challenging for agents backed by language models. While process reward models (PRMs) can guide agents by ranking candidate steps at test-time, existing PRMs, designed for short reasoning with binary judgment, cannot capture richer dimensions of information-seeking steps, such as tool interactions and reasoning over tool outputs, nor handle the rapidly growing context in long-horizon tasks. To address these limitations, we introduce PRInTS, a generative PRM trained with dual capabilities: (1) dense scoring based on the PRM's reasoning across multiple step quality dimensions (e.g., interpretation of tool outputs, tool call informativeness) and (2) trajectory summarization that compresses the growing context while preserving essential information for step evaluation. Extensive evaluations across FRAMES, GAIA (levels 1-3), and WebWalkerQA (easy-hard) benchmarks on multiple models, along with ablations, reveal that best-of-n sampling with PRInTS enhances information-seeking abilities of open-source models as well as specialized agents, matching or surpassing the performance of frontier models with a much smaller backbone agent and outperforming other strong reward modeling baselines.