Dyve: Pensar rápido y lento para la verificación dinámica de procesos

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Autores: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Resumen

Presentamos Dyve, un verificador de procesos dinámico que mejora la detección de errores de razonamiento en modelos de lenguaje de gran escala mediante la integración de pensamiento rápido y lento, inspirado en la Teoría de Sistemas de Kahneman. Dyve aplica de manera adaptativa la confirmación inmediata a nivel de token del Sistema 1 para pasos sencillos y un análisis exhaustivo del Sistema 2 para los complejos. Aprovechando una novedosa técnica de supervisión de procesos filtrados por consenso paso a paso, que combina la estimación de Monte Carlo con la evaluación basada en modelos de lenguaje, Dyve selecciona señales de supervisión de alta calidad a partir de datos ruidosos. Los resultados experimentales en ProcessBench y el conjunto de datos MATH confirman que Dyve supera significativamente a los verificadores de procesos existentes y mejora el rendimiento en configuraciones de Mejor-de-N.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.