Razonar con Confianza: Verificación Eficiente de los Pasos de Razonamiento de los LLM mediante Cabezales de Incertidumbre

Resumen

La resolución de tareas complejas generalmente requiere que los LLM generen largas cadenas de razonamiento de múltiples pasos. Trabajos previos han demostrado que verificar la corrección de los pasos de razonamiento individuales puede mejorar aún más el rendimiento y la eficiencia de los LLM en dichas tareas, además de aumentar la interpretabilidad de las soluciones. Sin embargo, los enfoques de verificación existentes, como los Modelos de Recompensa de Procesos (PRM), son computacionalmente costosos, están limitados a dominios específicos o requieren anotaciones a gran escala generadas por humanos o modelos. Por lo tanto, proponemos una alternativa ligera para la verificación del razonamiento a nivel de paso basada en puntuaciones de incertidumbre guiadas por datos. Entrenamos cabezales de cuantificación de incertidumbre (UHeads) basados en transformers que utilizan los estados internos de un LLM congelado para estimar la incertidumbre de sus pasos de razonamiento durante la generación. El enfoque es completamente automático: las etiquetas objetivo son generadas por otro LLM más grande (por ejemplo, DeepSeek R1) o de manera auto-supervisada por el propio modelo original. Los UHeads son tanto efectivos como ligeros, conteniendo menos de 10 millones de parámetros. En múltiples dominios, incluyendo matemáticas, planificación y respuesta a preguntas de conocimiento general, igualan o incluso superan el rendimiento de los PRM que son hasta 810 veces más grandes. Nuestros hallazgos sugieren que los estados internos de los LLM codifican su incertidumbre y pueden servir como señales confiables para la verificación del razonamiento, ofreciendo una dirección prometedora hacia LLM introspectivos escalables y generalizables.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.

Razonar con Confianza: Verificación Eficiente de los Pasos de Razonamiento de los LLM mediante Cabezales de Incertidumbre

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

Resumen

Support