Dyve: Denken Schnell und Langsam für die Verifizierung Dynamischer Prozesse

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Autoren: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Zusammenfassung

Wir präsentieren Dyve, einen dynamischen Prozessprüfer, der die Fehlererkennung beim Denken in großen Sprachmodellen durch die Integration von schnellem und langsamem Denken verbessert, inspiriert von Kahnnemans Systemtheorie. Dyve wendet adaptiv eine sofortige Token-Ebene Bestätigung System 1 für einfache Schritte und eine umfassende Analyse System 2 für komplexe Schritte an. Durch die Nutzung einer neuartigen schrittweisen konsensgefilterten Prozessaufsichtstechnik, die Monte Carlo-Schätzungen mit LLM-basierter Bewertung kombiniert, kuratiert Dyve hochwertige Aufsichtssignale aus rauschenden Daten. Experimentelle Ergebnisse auf ProcessBench und dem MATH-Datensatz bestätigen, dass Dyve signifikant besser abschneidet als bestehende prozessbasierte Prüfer und die Leistung in Best-of-N-Szenarien steigert.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.