PRISM: Расширяя границы глубокого мышления с помощью управляемого вывода на основе процессуальной модели вознаграждения
PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference
March 3, 2026
Авторы: Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu
cs.AI
Аннотация
Методы DEEPTHINK улучшают рассуждение за счет генерации, уточнения и агрегации популяций кандидатных решений, что обеспечивает высокую производительность при решении сложных математических и научных задач. Однако существующие фреймворки часто не имеют надежных сигналов корректности на этапе вывода, что создает узкое место в улучшении популяции: более глубокое обдумывание усиливает ошибки, подавляет корректные решения, находящиеся в меньшинстве, и приводит к слабой отдаче от дополнительных вычислительных ресурсов. В данной статье мы вводим функциональную декомпозицию систем DEEPTHINK и предлагаем PRISM — алгоритм вывода, управляемый моделью вознаграждения процессов (Process Reward Model, PRM), который использует пошаговую верификацию для управления как уточнением популяции, так и агрегацией решений. На этапе уточнения PRISM рассматривает кандидатные решения как частицы в энергетическом ландшафте, определяемом PRM, и преобразует популяцию с помощью ресемплинга на основе оценок и стохастического уточнения, концентрируя вероятностную массу на рассуждениях более высокого качества при сохранении разнообразия. На математических и научных бенчмарках PRISM демонстрирует конкурентоспособность или превосходит существующие методы DEEPTHINK, достигая 90,0%, 75,4% и 71,4% с моделью gpt-oss-20b на AIME25, HMMT25 и GPQA Diamond соответственно, при этом соответствуя или превосходя результаты gpt-oss-120b. Кроме того, наш анализ показывает, что PRISM обеспечивает последовательную чистую направленную коррекцию на этапе уточнения, остается надежным, когда исходная популяция содержит мало корректных кандидатов, и часто находится на Парето-фронте точности и вычислительных затрат.
English
DEEPTHINK methods improve reasoning by generating, refining, and aggregating populations of candidate solutions, which enables strong performance on complex mathematical and scientific tasks. However, existing frameworks often lack reliable correctness signals during inference, which creates a population-enhancement bottleneck where deeper deliberation amplifies errors, suppresses correct minority solutions, and yields weak returns to additional compute. In this paper, we introduce a functional decomposition of DEEPTHINK systems and propose PRISM, a Process Reward Model (PRM)-guided inference algorithm that uses step-level verification to guide both population refinement and solution aggregation. During refinement, PRISM treats candidate solutions as particles in a PRM-defined energy landscape and reshapes the population through score-guided resampling and stochastic refinement, which concentrates probability mass on higher-quality reasoning while preserving diversity. Across mathematics and science benchmarks, PRISM is competitive with or outperforms existing DEEPTHINK methods, reaching 90.0%, 75.4%, and 71.4% with gpt-oss-20b on AIME25, HMMT25, and GPQA Diamond, respectively, while matching or exceeding gpt-oss-120b. Additionally, our analysis shows that PRISM produces consistent net-directional correction during refinement, remains reliable when the initial population contains few correct candidates, and often lies on the compute-accuracy Pareto frontier.