PRISM: Expandiendo la Frontera del Pensamiento Profundo mediante Inferencia Guiada por Modelos de Recompensa de Procesos
PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference
March 3, 2026
Autores: Rituraj Sharma, Weiyuan Chen, Noah Provenzano, Tu Vu
cs.AI
Resumen
Los métodos DEEPTHINK mejoran el razonamiento mediante la generación, el refinamiento y la agregación de poblaciones de soluciones candidatas, lo que permite un alto rendimiento en tareas matemáticas y científicas complejas. Sin embargo, los marcos existentes a menudo carecen de señales de corrección confiables durante la inferencia, lo que crea un cuello de botella en la mejora de la población donde una deliberación más profunda amplifica los errores, suprime las soluciones minoritarias correctas y produce rendimientos decrecientes al aumentar el cómputo. En este artículo, presentamos una descomposición funcional de los sistemas DEEPTHINK y proponemos PRISM, un algoritmo de inferencia guiado por un Modelo de Recompensa de Procesos (PRM) que utiliza verificación a nivel de paso para guiar tanto el refinamiento de la población como la agregación de soluciones. Durante el refinamiento, PRISM trata las soluciones candidatas como partículas en un paisaje energético definido por el PRM y remodela la población mediante remuestreo guiado por puntuación y refinamiento estocástico, lo que concentra la masa de probabilidad en razonamientos de mayor calidad mientras preserva la diversidad. En diversos puntos de referencia matemáticos y científicos, PRISM es competitivo o supera a los métodos DEEPTHINK existentes, alcanzando 90.0%, 75.4% y 71.4% con gpt-oss-20b en AIME25, HMMT25 y GPQA Diamond, respectivamente, mientras iguala o supera a gpt-oss-120b. Adicionalmente, nuestro análisis muestra que PRISM produce una corrección neta direccional consistente durante el refinamiento, mantiene su fiabilidad cuando la población inicial contiene pocos candidatos correctos y a menudo se sitúa en la frontera de Pareto de cómputo-precisión.
English
DEEPTHINK methods improve reasoning by generating, refining, and aggregating populations of candidate solutions, which enables strong performance on complex mathematical and scientific tasks. However, existing frameworks often lack reliable correctness signals during inference, which creates a population-enhancement bottleneck where deeper deliberation amplifies errors, suppresses correct minority solutions, and yields weak returns to additional compute. In this paper, we introduce a functional decomposition of DEEPTHINK systems and propose PRISM, a Process Reward Model (PRM)-guided inference algorithm that uses step-level verification to guide both population refinement and solution aggregation. During refinement, PRISM treats candidate solutions as particles in a PRM-defined energy landscape and reshapes the population through score-guided resampling and stochastic refinement, which concentrates probability mass on higher-quality reasoning while preserving diversity. Across mathematics and science benchmarks, PRISM is competitive with or outperforms existing DEEPTHINK methods, reaching 90.0%, 75.4%, and 71.4% with gpt-oss-20b on AIME25, HMMT25, and GPQA Diamond, respectively, while matching or exceeding gpt-oss-120b. Additionally, our analysis shows that PRISM produces consistent net-directional correction during refinement, remains reliable when the initial population contains few correct candidates, and often lies on the compute-accuracy Pareto frontier.