Schlussfolgern mit Konfidenz: Effiziente Verifikation von LLM-Schlussfolgerungsschritten über Unsicherheits-Köpfe

papers.abstract

Die Lösung komplexer Aufgaben erfordert in der Regel, dass große Sprachmodelle (LLMs) lange, mehrstufige Denkketten generieren. Frühere Arbeiten haben gezeigt, dass die Überprüfung der Korrektheit einzelner Denkschritte die Leistung und Effizienz von LLMs bei solchen Aufgaben weiter verbessern und die Interpretierbarkeit der Lösungen erhöhen kann. Bestehende Verifikationsansätze wie Process Reward Models (PRMs) sind jedoch entweder rechenintensiv, auf bestimmte Domänen beschränkt oder erfordern umfangreiche menschliche oder modellgenerierte Annotationen. Daher schlagen wir eine leichtgewichtige Alternative zur schrittweisen Überprüfung von Reasoning-Ketten vor, die auf datengestützten Unsicherheitswerten basiert. Wir trainieren transformerbasierte Unsicherheitsquantifizierungs-Module (UHeads), die die internen Zustände eines eingefrorenen LLMs nutzen, um dessen Unsicherheit während der Generierung von Denkschritten abzuschätzen. Der Ansatz ist vollautomatisch: Ziel-Labels werden entweder von einem anderen, größeren LLM (z.B. DeepSeek R1) oder auf selbstüberwachte Weise vom ursprünglichen Modell selbst generiert. UHeads sind sowohl effektiv als auch leichtgewichtig und enthalten weniger als 10 Millionen Parameter. In mehreren Domänen, darunter Mathematik, Planung und allgemeine Wissensfragen, erreichen sie eine gleichwertige oder sogar bessere Leistung als PRMs, die bis zu 810-mal größer sind. Unsere Ergebnisse deuten darauf hin, dass die internen Zustände von LLMs deren Unsicherheit kodieren und als zuverlässige Signale für die Reasoning-Verifikation dienen können, was eine vielversprechende Richtung für skalierbare und generalisierbare introspektive LLMs eröffnet.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.

Schlussfolgern mit Konfidenz: Effiziente Verifikation von LLM-Schlussfolgerungsschritten über Unsicherheits-Köpfe

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

papers.abstract

Support