PRISM: Erweiterung der Grenzen des tiefen Denkens durch prozessgesteuerte Inferenz mit Belohnungsmodellen
PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference
March 3, 2026
Autoren: Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu
cs.AI
Zusammenfassung
DEEPTHINK-Methoden verbessern das Reasoning durch die Generierung, Verfeinerung und Aggregation von Populationen von Kandidatenlösungen, was eine hohe Leistung bei komplexen mathematischen und wissenschaftlichen Aufgaben ermöglicht. Bestehende Frameworks verfügen während des Inferenzprozesses jedoch oft nicht über zuverlässige Korrektheitssignale, was zu einem Population-Verbesserungs-Flaschenhals führt, bei dem tiefergehende Deliberation Fehler verstärkt, korrekte Minderheitenlösungen unterdrückt und nur schwache Erträge für zusätzlichen Rechenaufwand liefert. In diesem Artikel führen wir eine funktionale Zerlegung von DEEPTHINK-Systemen ein und schlagen PRISM vor, einen Inferenzalgorithmus, der von einem Process Reward Model (PRM) geleitet wird und schrittweise Verifikation zur Führung sowohl der Populationsverfeinerung als auch der Lösungsaggregation nutzt. Während der Verfeinerung behandelt PRISM Kandidatenlösungen als Partikel in einer PRM-definierten Energielandschaft und formt die Population durch bewertungsgesteuertes Resampling und stochastische Verfeinerung um, wodurch die Wahrscheinlichkeitsmasse auf höherwertige Reasoning-Pfade konzentriert wird, während die Diversität erhalten bleibt. In mathematischen und wissenschaftlichen Benchmarks ist PRISM mit bestehenden DEEPTHINK-Methoden wettbewerbsfähig oder übertrifft diese, erreicht 90,0 %, 75,4 % bzw. 71,4 % mit gpt-oss-20b auf AIME25, HMMT25 und GPQA Diamond und erreicht oder übertrifft dabei gpt-oss-120b. Darüber hinaus zeigt unsere Analyse, dass PRISM während der Verfeinerung eine konsistente netto-richtungsweise Korrektur bewirkt, zuverlässig bleibt, wenn die Ausgangspopulation nur wenige korrekte Kandidaten enthält, und oft auf der Compute-Genauigkeits-Pareto-Front liegt.
English
DEEPTHINK methods improve reasoning by generating, refining, and aggregating populations of candidate solutions, which enables strong performance on complex mathematical and scientific tasks. However, existing frameworks often lack reliable correctness signals during inference, which creates a population-enhancement bottleneck where deeper deliberation amplifies errors, suppresses correct minority solutions, and yields weak returns to additional compute. In this paper, we introduce a functional decomposition of DEEPTHINK systems and propose PRISM, a Process Reward Model (PRM)-guided inference algorithm that uses step-level verification to guide both population refinement and solution aggregation. During refinement, PRISM treats candidate solutions as particles in a PRM-defined energy landscape and reshapes the population through score-guided resampling and stochastic refinement, which concentrates probability mass on higher-quality reasoning while preserving diversity. Across mathematics and science benchmarks, PRISM is competitive with or outperforms existing DEEPTHINK methods, reaching 90.0%, 75.4%, and 71.4% with gpt-oss-20b on AIME25, HMMT25, and GPQA Diamond, respectively, while matching or exceeding gpt-oss-120b. Additionally, our analysis shows that PRISM produces consistent net-directional correction during refinement, remains reliable when the initial population contains few correct candidates, and often lies on the compute-accuracy Pareto frontier.