Dyve: Snel en Langzaam Denken voor Dynamische Procesverificatie

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Auteurs: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Samenvatting

We presenteren Dyve, een dynamische procesverifier die het detecteren van redeneerfouten in grote taalmodellen verbetert door het integreren van snel en langzaam denken, geïnspireerd door Kahneman's Systeemtheorie. Dyve past adaptief onmiddellijke token-level bevestiging (Systeem 1) toe voor eenvoudige stappen en uitgebreide analyse (Systeem 2) voor complexe stappen. Door gebruik te maken van een nieuwe stap-voor-stap consensus-gefilterde procesbewakingstechniek, die Monte Carlo-schatting combineert met op LLM gebaseerde evaluatie, genereert Dyve hoogwaardige begeleidingssignalen uit ruisige data. Experimentele resultaten op ProcessBench en de MATH-dataset bevestigen dat Dyve aanzienlijk beter presteert dan bestaande procesgebaseerde verifiers en de prestaties in Best-of-N instellingen verbetert.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.