PRInTS : Modélisation de la récompense pour la recherche d'information à long horizon
PRInTS: Reward Modeling for Long-Horizon Information Seeking
November 24, 2025
papers.authors: Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal
cs.AI
papers.abstract
La recherche d'information est une capacité fondamentale pour les agents d'IA, qui nécessite de collecter et de raisonner sur des informations générées par des outils au travers de longues trajectoires. Cependant, ces tâches de recherche d'information multi-étapes restent difficiles pour les agents reposant sur des modèles de langage. Bien que les modèles de récompense de processus (PRM) puissent guider les agents en classant les étapes candidates lors des tests, les PRM existants, conçus pour un raisonnement court avec un jugement binaire, ne peuvent pas capturer les dimensions plus riches des étapes de recherche d'information, telles que les interactions avec les outils et le raisonnement sur leurs sorties, ni gérer le contexte qui croît rapidement dans les tâches à long horizon. Pour résoudre ces limitations, nous présentons PRInTS, un PRM génératif entraîné avec des capacités duales : (1) un score dense basé sur le raisonnement du PRM à travers plusieurs dimensions de qualité d'étape (par exemple, l'interprétation des sorties d'outils, l'informativité des appels d'outils) et (2) un résumé de trajectoire qui compresse le contexte croissant tout en préservant les informations essentielles pour l'évaluation des étapes. Des évaluations approfondies sur les benchmarks FRAMES, GAIA (niveaux 1-3) et WebWalkerQA (facile-difficile) avec plusieurs modèles, ainsi que des ablations, révèlent que l'échantillonnage best-of-n avec PRInTS améliore les capacités de recherche d'information des modèles open source ainsi que des agents spécialisés, égalant ou dépassant les performances des modèles frontaliers avec un agent de base beaucoup plus petit et surpassant les autres modèles de référence solides en modélisation de récompense.
English
Information-seeking is a core capability for AI agents, requiring them to gather and reason over tool-generated information across long trajectories. However, such multi-step information-seeking tasks remain challenging for agents backed by language models. While process reward models (PRMs) can guide agents by ranking candidate steps at test-time, existing PRMs, designed for short reasoning with binary judgment, cannot capture richer dimensions of information-seeking steps, such as tool interactions and reasoning over tool outputs, nor handle the rapidly growing context in long-horizon tasks. To address these limitations, we introduce PRInTS, a generative PRM trained with dual capabilities: (1) dense scoring based on the PRM's reasoning across multiple step quality dimensions (e.g., interpretation of tool outputs, tool call informativeness) and (2) trajectory summarization that compresses the growing context while preserving essential information for step evaluation. Extensive evaluations across FRAMES, GAIA (levels 1-3), and WebWalkerQA (easy-hard) benchmarks on multiple models, along with ablations, reveal that best-of-n sampling with PRInTS enhances information-seeking abilities of open-source models as well as specialized agents, matching or surpassing the performance of frontier models with a much smaller backbone agent and outperforming other strong reward modeling baselines.