Representationele Stabiliteit van Waarheid in Grote Taalmodellen

Representational Stability of Truth in Large Language Models

November 24, 2025

Auteurs: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

Samenvatting

Grote taalmmodellen (LLM's) worden veel gebruikt voor feitelijke taken zoals "Wat behandelt astma?" of "Wat is de hoofdstad van Letland?". Het blijft echter onduidelijk hoe stabiel LLM's de onderscheiden tussen ware, onware en noch-waar-noch-onware inhoud coderen in hun interne probabilistische representaties. Wij introduceren *representatiestabiliteit* als de robuustheid van de waarheidsrepresentaties van een LLM tegen perturbaties in de operationele definitie van waarheid. We beoordelen representatiestabiliteit door (i) een lineaire probe te trainen op de activaties van een LLM om ware van niet-ware uitspraken te scheiden en (ii) te meten hoe de geleerde beslissingsgrens verschuift onder gecontroleerde labelveranderingen. Met behulp van activaties van zestien open-source modellen en drie feitelijke domeinen vergelijken we twee soorten 'noch'-uitspraken. De eerste zijn feitachtige beweringen over entiteiten waarvan we geloven dat ze afwezig zijn in alle trainingsdata. We noemen deze *onbekende noch-uitspraken*. De tweede zijn niet-feitelijke claims afkomstig uit bekende fictionele contexten. We noemen deze *bekende noch-uitspraken*. De onbekende uitspraken veroorzaken de grootste grensverschuivingen, met tot 40% omgekeerde waarheidsoordelen in fragiele domeinen (zoals woorddefinities), terwijl bekende fictionele uitspraken coherenter gegroepeerd blijven en kleinere veranderingen opleveren (≤ 8,2%). Deze resultaten suggereren dat representatiestabiliteit meer voortkomt uit epistemische bekendheid dan uit linguïstische vorm. In bredere zin biedt onze aanpak een diagnostisch hulpmiddel voor het auditen en trainen van LLM's om coherente waarheidstoekenningen te behouden onder semantische onzekerheid, in plaats van alleen te optimaliseren voor uitvoernauwkeurigheid.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.