Dyve: Быстрое и медленное мышление для динамической верификации процессов

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Авторы: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Аннотация

Мы представляем Dyve — динамический верификатор процессов, который улучшает обнаружение ошибок рассуждений в больших языковых моделях за счет интеграции быстрого и медленного мышления, вдохновленного теорией систем Канемана. Dyve адаптивно применяет немедленное подтверждение на уровне токенов (Система 1) для простых шагов и всесторонний анализ (Система 2) для сложных. Используя новую технику пошагового консенсус-фильтрованного контроля процессов, сочетающую оценку методом Монте-Карло с оценкой на основе языковых моделей, Dyve извлекает высококачественные сигналы контроля из зашумленных данных. Экспериментальные результаты на ProcessBench и наборе данных MATH подтверждают, что Dyve значительно превосходит существующие процессно-ориентированные верификаторы и повышает производительность в настройках Best-of-N.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.