Ragionare con Confidenza: Verifica Efficiente dei Passaggi di Ragionamento dei LLM tramite Teste di Incertezza

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

November 9, 2025

Autori: Jingwei Ni, Ekaterina Fadeeva, Tianyi Wu, Mubashara Akhtar, Jiaheng Zhang, Elliott Ash, Markus Leippold, Timothy Baldwin, See-Kiong Ng, Artem Shelmanov, Mrinmaya Sachan

cs.AI

Abstract

La risoluzione di compiti complessi richiede solitamente che i LLM generino lunghe catene di ragionamento multi-step. Ricerche precedenti hanno dimostrato che verificare la correttezza dei singoli passaggi di ragionamento può ulteriormente migliorare le prestazioni e l'efficienza dei LLM su tali compiti e aumentare l'interpretabilità della soluzione. Tuttavia, gli approcci di verifica esistenti, come i Modelli di Ricompensa di Processo (PRM), sono computazionalmente costosi, limitati a domini specifici o richiedono annotazioni su larga scala generate da umani o modelli. Pertanto, proponiamo un'alternativa leggera per la verifica del ragionamento a livello di passo basata su punteggi di incertezza guidati dai dati. Addestriamo testine di quantificazione dell'incertezza (UHeads) basate su transformer che utilizzano gli stati interni di un LLM congelato per stimare l'incertezza dei suoi passaggi di ragionamento durante la generazione. L'approccio è completamente automatico: le etichette target sono generate da un altro LLM più grande (ad esempio, DeepSeek R1) o in modo auto-supervisionato dal modello originale stesso. Le UHeads sono sia efficaci che leggere, contenendo meno di 10 milioni di parametri. In molteplici domini, inclusi matematica, pianificazione e risposta a domande di cultura generale, esse eguagliano o addirittura superano le prestazioni di PRM fino a 810 volte più grandi. I nostri risultati suggeriscono che gli stati interni dei LLM codificano la loro incertezza e possono servire come segnali affidabili per la verifica del ragionamento, offrendo una direzione promettente verso LLM introspe

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.