Raciocínio com Confiança: Verificação Eficiente de Etapas de Raciocínio de LLMs por meio de Cabeças de Incerteza

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

November 9, 2025

Autores: Jingwei Ni, Ekaterina Fadeeva, Tianyi Wu, Mubashara Akhtar, Jiaheng Zhang, Elliott Ash, Markus Leippold, Timothy Baldwin, See-Kiong Ng, Artem Shelmanov, Mrinmaya Sachan

cs.AI

Resumo

A resolução de tarefas complexas geralmente exige que os LLMs gerem longas cadeias de raciocínio de múltiplos passos. Trabalhos anteriores demonstraram que verificar a correção de passos individuais de raciocínio pode melhorar ainda mais o desempenho e a eficiência dos LLMs nessas tarefas e aumentar a interpretabilidade da solução. No entanto, as abordagens de verificação existentes, como os Modelos de Recompensa de Processo (PRMs), são computacionalmente dispendiosas, limitadas a domínios específicos ou exigem anotações em grande escala geradas por humanos ou modelos. Assim, propomos uma alternativa leve para verificação de raciocínio a nível de passo baseada em escores de incerteza orientados por dados. Treinamos cabeças de quantificação de incerteza (UHeads) baseadas em transformers que utilizam os estados internos de um LLM congelado para estimar a incerteza dos seus passos de raciocínio durante a geração. A abordagem é totalmente automática: as etiquetas-alvo são geradas por outro LLM maior (por exemplo, DeepSeek R1) ou de forma auto supervisionada pelo próprio modelo original. As UHeads são eficazes e leves, contendo menos de 10 milhões de parâmetros. Em múltiplos domínios, incluindo matemática, planeamento e resposta a questões de conhecimento geral, elas igualam ou até superam o desempenho de PRMs que são até 810 vezes maiores. As nossas descobertas sugerem que os estados internos dos LLMs codificam a sua incerteza e podem servir como sinais confiáveis para verificação de raciocínio, oferecendo uma direção promissora para LLMs introspetivos escaláveis e generalizáveis.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.