Repräsentative Stabilität von Wahrheit in großen Sprachmodellen

papers.abstract

Große Sprachmodelle (LLMs) werden häufig für faktische Aufgaben eingesetzt, wie etwa "Was hilft gegen Asthma?" oder "Was ist die Hauptstadt von Lettland?". Es ist jedoch nach wie vor unklar, wie stabil LLMs die Unterscheidung zwischen wahren, falschen und weder-wahren-noch-falschen Inhalten in ihren internen probabilistischen Repräsentationen kodieren. Wir führen den Begriff der Repräsentationsstabilität ein, der die Robustheit der Wahrheitsrepräsentationen eines LLM gegenüber Störungen in der operationalen Definition von Wahrheit beschreibt. Wir bewerten die Repräsentationsstabilität, indem wir (i) einen linearen Klassifikator auf den Aktivierungen eines LLM trainieren, um wahre von nicht-wahren Aussagen zu trennen, und (ii) messen, wie sich dessen gelernte Entscheidungsgrenze unter kontrollierten Änderungen der Labels verschiebt. Unter Verwendung von Aktivierungen aus sechzehn Open-Source-Modellen und drei faktischen Domänen vergleichen wir zwei Arten von "weder-noch"-Aussagen. Die erste Art sind faktisch anmutende Behauptungen über Entitäten, von denen wir annehmen, dass sie in keinen Trainingsdaten vorkommen. Wir bezeichnen diese als *unvertraute* "weder-noch"-Aussagen. Die zweite Art sind nicht-faktische Behauptungen aus bekannten fiktionalen Kontexten. Wir bezeichnen diese als *vertraute* "weder-noch"-Aussagen. Die unvertrauten Aussagen verursachen die größten Grenzverschiebungen und führen in fragilen Domänen (wie z.B. Wortdefinitionen) zu bis zu 40 % geänderten Wahrheitsurteilen, während vertraute fiktionale Aussagen kohärenter gruppiert bleiben und kleinere Änderungen (≤ 8,2 %) bewirken. Diese Ergebnisse deuten darauf hin, dass Repräsentationsstabilität eher von epistemischer Vertrautheit als von der sprachlichen Form abhängt. Im weiteren Sinne bietet unser Ansatz ein Diagnosewerkzeug, um LLMs zu überprüfen und zu trainieren, damit sie kohärente Wahrheitszuweisungen unter semantischer Unsicherheit bewahren, anstatt nur auf Ausgabegenauigkeit zu optimieren.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.

Repräsentative Stabilität von Wahrheit in großen Sprachmodellen

Representational Stability of Truth in Large Language Models

papers.abstract

Support