Raisonner avec Confiance : Vérification Efficace des Étapes de Raisonnement des LLM via les Têtes d'Incertitude

papers.abstract

La résolution de tâches complexes nécessite généralement que les LLM génèrent de longues chaînes de raisonnement en plusieurs étapes. Des travaux antérieurs ont montré que la vérification de l'exactitude des étapes de raisonnement individuelles peut améliorer davantage les performances et l'efficacité des LLM sur ces tâches et renforcer l'interprétabilité des solutions. Cependant, les approches de vérification existantes, telles que les modèles de récompense de processus (PRM), sont soit informatiquement coûteuses, limitées à des domaines spécifiques, soit nécessitent des annotations à grande échelle générées par des humains ou des modèles. Ainsi, nous proposons une alternative légère pour la vérification du raisonnement au niveau des étapes, basée sur des scores d'incertitude issus des données. Nous entraînons des têtes de quantification de l'incertitude (UHeads) basées sur des transformateurs, qui utilisent les états internes d'un LLM figé pour estimer l'incertitude de ses étapes de raisonnement pendant la génération. L'approche est entièrement automatique : les étiquettes cibles sont générées soit par un autre LLM plus grand (par exemple, DeepSeek R1), soit de manière auto-supervisée par le modèle original lui-même. Les UHeads sont à la fois efficaces et légers, contenant moins de 10 millions de paramètres. Sur plusieurs domaines, incluant les mathématiques, la planification et la réponse à des questions de culture générale, elles égalent ou même surpassent les performances des PRM qui sont jusqu'à 810 fois plus grandes. Nos résultats suggèrent que les états internes des LLM encodent leur incertitude et peuvent servir de signaux fiables pour la vérification du raisonnement, offrant une voie prometteuse vers des LLM introspectifs, évolutifs et généralisables.

English

Solving complex tasks usually requires LLMs to generate long multi-step reasoning chains. Previous work has shown that verifying the correctness of individual reasoning steps can further improve the performance and efficiency of LLMs on such tasks and enhance solution interpretability. However, existing verification approaches, such as Process Reward Models (PRMs), are either computationally expensive, limited to specific domains, or require large-scale human or model-generated annotations. Thus, we propose a lightweight alternative for step-level reasoning verification based on data-driven uncertainty scores. We train transformer-based uncertainty quantification heads (UHeads) that use the internal states of a frozen LLM to estimate the uncertainty of its reasoning steps during generation. The approach is fully automatic: target labels are generated either by another larger LLM (e.g., DeepSeek R1) or in a self-supervised manner by the original model itself. UHeads are both effective and lightweight, containing less than 10M parameters. Across multiple domains, including mathematics, planning, and general knowledge question answering, they match or even surpass the performance of PRMs that are up to 810x larger. Our findings suggest that the internal states of LLMs encode their uncertainty and can serve as reliable signals for reasoning verification, offering a promising direction toward scalable and generalizable introspective LLMs.

Raisonner avec Confiance : Vérification Efficace des Étapes de Raisonnement des LLM via les Têtes d'Incertitude

Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads

papers.abstract

Support