PRISM : Repousser les Frontières de la Pensée Profonde via l'Inférence Guidée par un Modèle de Récompense de Processus
PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference
March 3, 2026
Auteurs: Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu
cs.AI
Résumé
Les méthodes DEEPTHINK améliorent le raisonnement en générant, en affinant et en agrégeant des populations de solutions candidates, ce qui permet d'obtenir de fortes performances sur des tâches mathématiques et scientifiques complexes. Cependant, les cadres existants manquent souvent de signaux de fiabilité durant l'inférence, créant un goulot d'étranglement dans l'amélioration de la population où une délibération plus profonde amplifie les erreurs, supprime les solutions correctes minoritaires et donne un faible retour sur le calcul supplémentaire investi. Dans cet article, nous introduisons une décomposition fonctionnelle des systèmes DEEPTHINK et proposons PRISM, un algorithme d'inférence guidé par un modèle de récompense de processus (PRM) qui utilise une vérification étape par étape pour guider à la fois l'affinement de la population et l'agrégation des solutions. Durant l'affinement, PRISM traite les solutions candidates comme des particules dans un paysage énergétique défini par le PRM et remodèle la population par un rééchantillonnage guidé par les scores et un affinement stochastique, ce qui concentre la masse de probabilité sur un raisonnement de meilleure qualité tout en préservant la diversité. Sur divers benchmarks de mathématiques et de sciences, PRISM est compétitif ou surpasse les méthodes DEEPTHINK existantes, atteignant 90,0 %, 75,4 % et 71,4 % avec gpt-oss-20b sur AIME25, HMMT25 et GPQA Diamond, respectivement, tout en égalant ou dépassant les performances de gpt-oss-120b. De plus, notre analyse montre que PRISM produit une correction directionnelle nette cohérente durant l'affinement, reste fiable lorsque la population initiale contient peu de candidats corrects, et se situe souvent sur la frontière de Pareto précision-calcul.
English
DEEPTHINK methods improve reasoning by generating, refining, and aggregating populations of candidate solutions, which enables strong performance on complex mathematical and scientific tasks. However, existing frameworks often lack reliable correctness signals during inference, which creates a population-enhancement bottleneck where deeper deliberation amplifies errors, suppresses correct minority solutions, and yields weak returns to additional compute. In this paper, we introduce a functional decomposition of DEEPTHINK systems and propose PRISM, a Process Reward Model (PRM)-guided inference algorithm that uses step-level verification to guide both population refinement and solution aggregation. During refinement, PRISM treats candidate solutions as particles in a PRM-defined energy landscape and reshapes the population through score-guided resampling and stochastic refinement, which concentrates probability mass on higher-quality reasoning while preserving diversity. Across mathematics and science benchmarks, PRISM is competitive with or outperforms existing DEEPTHINK methods, reaching 90.0%, 75.4%, and 71.4% with gpt-oss-20b on AIME25, HMMT25, and GPQA Diamond, respectively, while matching or exceeding gpt-oss-120b. Additionally, our analysis shows that PRISM produces consistent net-directional correction during refinement, remains reliable when the initial population contains few correct candidates, and often lies on the compute-accuracy Pareto frontier.