PRISM: Spingere le Frontiere del Pensiero Profondo tramite Inferenza Guidata da Modelli di Ricompensa di Processo

PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference

March 3, 2026

Autori: Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu

cs.AI

Abstract

I metodi DEEPTHINK migliorano il ragionamento generando, affinando e aggregando popolazioni di soluzioni candidate, il che consente prestazioni elevate in compiti matematici e scientifici complessi. Tuttavia, i framework esistenti spesso mancano di segnali di correttezza affidabili durante l'inferenza, creando un collo di bottiglia nel potenziamento della popolazione in cui una deliberazione più profonda amplifica gli errori, sopprime le soluzioni corrette di minoranza e produce rendimenti deboli per il calcolo aggiuntivo. In questo articolo, introduciamo una scomposizione funzionale dei sistemi DEEPTHINK e proponiamo PRISM, un algoritmo di inferenza guidato da un Process Reward Model (PRM) che utilizza una verifica a livello di passo per guidare sia l'affinamento della popolazione che l'aggregazione delle soluzioni. Durante l'affinamento, PRISM tratta le soluzioni candidate come particelle in un panorama energetico definito dal PRM e rimodella la popolazione attraverso un ricampionamento guidato dai punteggi e un affinamento stocastico, concentrando così la massa di probabilità su ragionamenti di qualità superiore preservando al contempo la diversità. Su benchmark di matematica e scienze, PRISM è competitivo o supera i metodi DEEPTHINK esistenti, raggiungendo il 90.0%, il 75.4% e il 71.4% con gpt-oss-20b rispettivamente su AIME25, HMMT25 e GPQA Diamond, eguagliando o superando al contempo gpt-oss-120b. Inoltre, la nostra analisi mostra che PRISM produce una correzione netta direzionale consistente durante l'affinamento, rimane affidabile quando la popolazione iniziale contiene poche soluzioni corrette e si colloca spesso sulla frontiera di Pareto calcolo-accuratezza.

English

DEEPTHINK methods improve reasoning by generating, refining, and aggregating populations of candidate solutions, which enables strong performance on complex mathematical and scientific tasks. However, existing frameworks often lack reliable correctness signals during inference, which creates a population-enhancement bottleneck where deeper deliberation amplifies errors, suppresses correct minority solutions, and yields weak returns to additional compute. In this paper, we introduce a functional decomposition of DEEPTHINK systems and propose PRISM, a Process Reward Model (PRM)-guided inference algorithm that uses step-level verification to guide both population refinement and solution aggregation. During refinement, PRISM treats candidate solutions as particles in a PRM-defined energy landscape and reshapes the population through score-guided resampling and stochastic refinement, which concentrates probability mass on higher-quality reasoning while preserving diversity. Across mathematics and science benchmarks, PRISM is competitive with or outperforms existing DEEPTHINK methods, reaching 90.0%, 75.4%, and 71.4% with gpt-oss-20b on AIME25, HMMT25, and GPQA Diamond, respectively, while matching or exceeding gpt-oss-120b. Additionally, our analysis shows that PRISM produces consistent net-directional correction during refinement, remains reliable when the initial population contains few correct candidates, and often lies on the compute-accuracy Pareto frontier.