PRInTS: Modelagem de Recompensa para Busca de Informação de Longo Horizonte
PRInTS: Reward Modeling for Long-Horizon Information Seeking
November 24, 2025
Autores: Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal
cs.AI
Resumo
A busca de informação é uma capacidade fundamental para agentes de IA, exigindo que eles recolham e raciocinem sobre informações geradas por ferramentas ao longo de longas trajetórias. No entanto, estas tarefas de busca de informação em múltiplas etapas continuam a ser um desafio para agentes baseados em modelos de linguagem. Embora os modelos de recompensa de processo (PRMs) possam orientar os agentes classificando etapas candidatas durante o teste, os PRMs existentes, concebidos para raciocínio curto com julgamento binário, não conseguem captar dimensões mais ricas das etapas de busca de informação, como interações com ferramentas e raciocínio sobre os seus resultados, nem lidar com o contexto em rápido crescimento nas tarefas de longo horizonte. Para superar estas limitações, introduzimos o PRInTS, um PRM generativo treinado com capacidades duplas: (1) pontuação densa baseada no raciocínio do PRM através de múltiplas dimensões de qualidade da etapa (ex.: interpretação de resultados de ferramentas, informatividade da chamada à ferramenta) e (2) sumarização de trajetória que comprime o contexto crescente, preservando ao mesmo tempo a informação essencial para a avaliação da etapa. Avaliações extensivas nos benchmarks FRAMES, GAIA (níveis 1-3) e WebWalkerQA (fácil-difícil) em múltiplos modelos, juntamente com ablações, revelam que a amostragem best-of-n com o PRInTS melhora as capacidades de busca de informação de modelos de código aberto, bem como de agentes especializados, equiparando ou superando o desempenho de modelos de fronteira com um agente base muito menor e superando outras linhas de base fortes de modelação de recompensa.
English
Information-seeking is a core capability for AI agents, requiring them to gather and reason over tool-generated information across long trajectories. However, such multi-step information-seeking tasks remain challenging for agents backed by language models. While process reward models (PRMs) can guide agents by ranking candidate steps at test-time, existing PRMs, designed for short reasoning with binary judgment, cannot capture richer dimensions of information-seeking steps, such as tool interactions and reasoning over tool outputs, nor handle the rapidly growing context in long-horizon tasks. To address these limitations, we introduce PRInTS, a generative PRM trained with dual capabilities: (1) dense scoring based on the PRM's reasoning across multiple step quality dimensions (e.g., interpretation of tool outputs, tool call informativeness) and (2) trajectory summarization that compresses the growing context while preserving essential information for step evaluation. Extensive evaluations across FRAMES, GAIA (levels 1-3), and WebWalkerQA (easy-hard) benchmarks on multiple models, along with ablations, reveal that best-of-n sampling with PRInTS enhances information-seeking abilities of open-source models as well as specialized agents, matching or surpassing the performance of frontier models with a much smaller backbone agent and outperforming other strong reward modeling baselines.