Dyve: Pensare Veloce e Lento per la Verifica Dinamica dei Processi

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Autori: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Abstract

Presentiamo Dyve, un verificatore di processi dinamico che migliora il rilevamento degli errori di ragionamento nei grandi modelli linguistici integrando il pensiero veloce e lento, ispirato dalla Teoria dei Sistemi di Kahneman. Dyve applica in modo adattivo la conferma immediata a livello di token del Sistema 1 per i passaggi semplici e un'analisi completa del Sistema 2 per quelli complessi. Sfruttando una tecnica innovativa di supervisione del processo filtrata per consenso passo-passo, che combina la stima Monte Carlo con la valutazione basata su LLM, Dyve seleziona segnali di supervisione di alta qualità da dati rumorosi. I risultati sperimentali su ProcessBench e il dataset MATH confermano che Dyve supera significativamente i verificatori di processi esistenti e migliora le prestazioni nelle configurazioni Best-of-N.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.