신뢰를 갖고 추론하기: 불확실성 헤드를 통한 LLM 추론 단계의 효율적 검증

초록

복잡한 작업을 해결하려면 일반적으로 LLM이 긴 다단계 추론 체인을 생성해야 합니다. 선행 연구에서는 개별 추론 단계의 정확성을 검증하는 것이 이러한 작업에서 LLM의 성능과 효율성을 더욱 향상시키고 해결책의 해석 가능성을 높일 수 있음을 보여주었습니다. 그러나 PRM(Process Reward Models)과 같은 기존 검증 접근법은 계산 비용이 많이 들거나, 특정 영역에 국한되거나, 대규모의 인간 또는 모델 생성 주석이 필요합니다. 따라서 우리는 데이터 기반 불확실성 점수에 기반한 단계별 추론 검증을 위한 경량 대안을 제안합니다. 우리는 고정된 LLM의 내부 상태를 사용하여 생성 과정 중 추론 단계의 불확실성을 추정하는 Transformer 기반 불확실성 정량화 헤드(UHead)를 학습합니다. 이 접근법은 완전 자동화되어 있습니다: 목표 레이블은 더 큰 LLM(예: DeepSeek R1)에 의해 생성되거나 원본 모델 자체에 의해 자기 지도 방식으로 생성됩니다. UHead는 1천만 개 미만의 매개변수를 포함하여 효과적이면서도 경량입니다. 수학, 계획 수립, 일반 상식 질의응답을 포함한 여러 영역에서 UHead는 크기가 최대 810배 큰 PRM의 성능을 따라잡거나 심지어 능가합니다. 우리의 연구 결과는 LLM의 내부 상태가 그 불확실성을 인코딩하며 추론 검증을 위한 신뢰할 수 있는 신호로 작용할 수 있음을 시사하며, 확장 가능하고 일반화 가능한 자기 성찰적 LLM을 위한 유망한 방향을 제시합니다.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.

신뢰를 갖고 추론하기: 불확실성 헤드를 통한 LLM 추론 단계의 효율적 검증

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

초록

Support