Abfragebezogene Unsicherheit in großen Sprachmodellen

Query-Level Uncertainty in Large Language Models

June 11, 2025

Autoren: Lihu Chen, Gaël Varoquaux

cs.AI

Zusammenfassung

Es ist wichtig, dass große Sprachmodelle sich der Grenzen ihres Wissens bewusst sind und über einen Mechanismus verfügen, um bekannte und unbekannte Anfragen zu identifizieren. Diese Art von Bewusstsein kann den Modellen helfen, adaptive Inferenz durchzuführen, wie beispielsweise das Aufrufen von RAG (Retrieval-Augmented Generation), das Einleiten von langsamem und tiefem Denken oder die Anwendung eines Verzichtsmechanismus, was die Entwicklung effizienter und vertrauenswürdiger KI fördert. In dieser Arbeit schlagen wir eine Methode zur Erkennung von Wissensgrenzen über die Unsicherheit auf Abfrageebene vor, die darauf abzielt, festzustellen, ob das Modell in der Lage ist, eine gegebene Anfrage zu beantworten, ohne dabei Token zu generieren. Zu diesem Zweck führen wir eine neuartige und trainingsfreie Methode namens „Internal Confidence“ ein, die Selbsteinschätzungen über Schichten und Token hinweg nutzt. Empirische Ergebnisse sowohl bei faktischen Frage-Antwort-Aufgaben als auch bei mathematischen Denkaufgaben zeigen, dass unsere interne Konfidenz mehrere Baseline-Methoden übertreffen kann. Darüber hinaus demonstrieren wir, dass unsere vorgeschlagene Methode für effizientes RAG und Modellkaskadierung verwendet werden kann, was in der Lage ist, die Inferenzkosten zu reduzieren, während die Leistung erhalten bleibt.

English

It is important for Large Language Models to be aware of the boundary of their knowledge, the mechanism of identifying known and unknown queries. This type of awareness can help models perform adaptive inference, such as invoking RAG, engaging in slow and deep thinking, or adopting the abstention mechanism, which is beneficial to the development of efficient and trustworthy AI. In this work, we propose a method to detect knowledge boundaries via Query-Level Uncertainty, which aims to determine if the model is able to address a given query without generating any tokens. To this end, we introduce a novel and training-free method called Internal Confidence, which leverages self-evaluations across layers and tokens. Empirical results on both factual QA and mathematical reasoning tasks demonstrate that our internal confidence can outperform several baselines. Furthermore, we showcase that our proposed method can be used for efficient RAG and model cascading, which is able to reduce inference costs while maintaining performance.