Разум с уверенностью: эффективная проверка шагов рассуждения больших языковых моделей с помощью голов неопределенности

Аннотация

Решение сложных задач обычно требует от больших языковых моделей (LLM) генерации длинных цепочек рассуждений, состоящих из множества шагов. Предыдущие исследования показали, что проверка корректности отдельных шагов рассуждений может дополнительно повысить производительность и эффективность LLM при выполнении таких задач, а также улучшить интерпретируемость решений. Однако существующие подходы к верификации, такие как Process Reward Models (PRM), либо вычислительно затратны, либо ограничены конкретными областями, либо требуют масштабных аннотаций, созданных людьми или другими моделями. В связи с этим мы предлагаем облегченную альтернативу для пошаговой проверки рассуждений, основанную на данных оценки неопределенности. Мы обучаем трансформерные "блоки оценки неопределенности" (UHeads), которые используют внутренние состояния замороженной LLM для оценки неопределенности ее шагов рассуждений в процессе генерации. Этот подход является полностью автоматическим: целевые метки генерируются либо другой, более крупной LLM (например, DeepSeek R1), либо самим исходным модельным способом в рамках самоконтроля. UHeads являются как эффективными, так и легковесными, содержа менее 10 миллионов параметров. В различных областях, включая математику, планирование и ответы на вопросы общего характера, они показывают результаты, сопоставимые или даже превосходящие производительность PRM, которые могут быть до 810 раз крупнее. Наши результаты позволяют предположить, что внутренние состояния LLM кодируют их неопределенность и могут служить надежными сигналами для проверки рассуждений, открывая перспективное направление в создании масштабируемых и обобщаемых интроспективных LLM.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.

Разум с уверенностью: эффективная проверка шагов рассуждения больших языковых моделей с помощью голов неопределенности

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

Аннотация

Support