PRInTS: Моделирование вознаграждения для долгосрочного информационного поиска

PRInTS: Reward Modeling for Long-Horizon Information Seeking

November 24, 2025

Авторы: Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Аннотация

Поиск информации является ключевой способностью ИИ-агентов, требующей от них сбора и анализа информации, полученной с помощью инструментов, в рамках длительных траекторий. Однако такие многошаговые задачи поиска информации остаются сложными для агентов на основе языковых моделей. Хотя процессные модели вознаграждения (PRM) могут направлять агентов, ранжируя кандидатные шаги во время тестирования, существующие PRM, разработанные для кратких рассуждений с бинарной оценкой, не способны уловить более богатые аспекты шагов поиска информации, такие как взаимодействие с инструментами и анализ их результатов, а также справиться с быстро растущим контекстом в долгосрочных задачах. Чтобы устранить эти ограничения, мы представляем PRInTS — генеративную PRM, обученную с двойными возможностями: (1) плотное оценивание на основе рассуждений модели по множественным параметрам качества шага (например, интерпретация результатов работы инструмента, информативность вызова инструмента) и (2) суммаризация траектории, которая сжимает растущий контекст, сохраняя при этом essentialную информацию для оценки шага. Обширные оценки на бенчмарках FRAMES, GAIA (уровни 1–3) и WebWalkerQA (легкий–сложный) для нескольких моделей, а также ablation-исследования показывают, что best-of-n семплирование с PRInTS улучшает способности к поиску информации у моделей с открытым исходным кодом, а также у специализированных агентов, соответствуя или превосходя производительность передовых моделей при использовании значительно меньшей базовой модели-агента и опережая другие сильные baseline-методы моделирования вознаграждения.

English

Information-seeking is a core capability for AI agents, requiring them to gather and reason over tool-generated information across long trajectories. However, such multi-step information-seeking tasks remain challenging for agents backed by language models. While process reward models (PRMs) can guide agents by ranking candidate steps at test-time, existing PRMs, designed for short reasoning with binary judgment, cannot capture richer dimensions of information-seeking steps, such as tool interactions and reasoning over tool outputs, nor handle the rapidly growing context in long-horizon tasks. To address these limitations, we introduce PRInTS, a generative PRM trained with dual capabilities: (1) dense scoring based on the PRM's reasoning across multiple step quality dimensions (e.g., interpretation of tool outputs, tool call informativeness) and (2) trajectory summarization that compresses the growing context while preserving essential information for step evaluation. Extensive evaluations across FRAMES, GAIA (levels 1-3), and WebWalkerQA (easy-hard) benchmarks on multiple models, along with ablations, reveal that best-of-n sampling with PRInTS enhances information-seeking abilities of open-source models as well as specialized agents, matching or surpassing the performance of frontier models with a much smaller backbone agent and outperforming other strong reward modeling baselines.