Dyve: Pensando Rápido e Devagar para Verificação Dinâmica de Processos

Dyve: Thinking Fast and Slow for Dynamic Process Verification

February 16, 2025

Autores: Jianyuan Zhong, Zeju Li, Zhijian Xu, Xiangyu Wen, Qiang Xu

cs.AI

Resumo

Apresentamos o Dyve, um verificador de processos dinâmico que aprimora a detecção de erros de raciocínio em modelos de linguagem de grande escala ao integrar o pensamento rápido e lento, inspirado na Teoria dos Sistemas de Kahneman. O Dyve aplica de forma adaptativa a confirmação imediata em nível de token do Sistema 1 para etapas simples e a análise abrangente do Sistema 2 para as complexas. Utilizando uma técnica inovadora de supervisão de processos filtrada por consenso passo a passo, que combina estimativa de Monte Carlo com avaliação baseada em modelos de linguagem, o Dyve seleciona sinais de supervisão de alta qualidade a partir de dados ruidosos. Resultados experimentais no ProcessBench e no conjunto de dados MATH confirmam que o Dyve supera significativamente os verificadores de processos existentes e melhora o desempenho em configurações Best-of-N.

English

We present Dyve, a dynamic process verifier that enhances reasoning error detection in large language models by integrating fast and slow thinking, inspired by Kahneman's Systems Theory. Dyve adaptively applies immediate token-level confirmation System 1 for straightforward steps and comprehensive analysis System 2 for complex ones. Leveraging a novel step-wise consensus-filtered process supervision technique, combining Monte Carlo estimation with LLM based evaluation, Dyve curates high-quality supervision signals from noisy data. Experimental results on ProcessBench and the MATH dataset confirm that Dyve significantly outperforms existing process-based verifiers and boosts performance in Best-of-N settings.