Dyve: 動的プロセス検証のための速い思考と遅い思考

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

著者: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

要旨

私たちは、カーネマンのシステム理論に着想を得た高速思考と低速思考の統合により、大規模言語モデルにおける推論エラーの検出を強化する動的プロセス検証器Dyveを提案します。Dyveは、単純なステップには即時的なトークンレベルの確認を行うシステム1を、複雑なステップには包括的な分析を行うシステム2を適応的に適用します。モンテカルロ推定とLLMベースの評価を組み合わせた新しいステップワイズ・コンセンサスフィルタリングプロセス監視技術を活用することで、Dyveはノイズの多いデータから高品質な監視信号を抽出します。ProcessBenchとMATHデータセットでの実験結果は、Dyveが既存のプロセスベースの検証器を大幅に上回り、Best-of-N設定での性能を向上させることを確認しています。

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.