Stabilité représentationnelle de la vérité dans les grands modèles de langage

Representational Stability of Truth in Large Language Models

November 24, 2025

papers.authors: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

papers.abstract

Les grands modèles de langage (LLM) sont largement utilisés pour des tâches factuelles telles que "Qu'est-ce qui traite l'asthme ?" ou "Quelle est la capitale de la Lettonie ?". Cependant, il reste incertain comment les LLM encodent de manière stable les distinctions entre le vrai, le faux et le ni-vrai-ni-faux dans leurs représentations probabilistes internes. Nous introduisons la stabilité représentationnelle comme la robustesse des représentations de véracité d'un LLM face aux perturbations dans la définition opérationnelle de la vérité. Nous évaluons la stabilité représentationnelle en (i) entraînant une sonde linéaire sur les activations d'un LLM pour séparer les énoncés vrais des non vrais et (ii) en mesurant comment sa frontière de décision apprise se déplace sous des changements d'étiquettes contrôlés. En utilisant les activations de seize modèles open-source et trois domaines factuels, nous comparons deux types d'énoncés neutres. Les premiers sont des assertions de type factuel concernant des entités que nous croyons absentes de toute donnée d'entraînement. Nous appelons ceux-ci des énoncés neutres non familiers. Les seconds sont des affirmations non factuelles tirées de contextes fictionnels bien connus. Nous appelons ceux-ci des énoncés neutres familiers. Les énoncés non familiers induisent les plus grands déplacements de frontière, produisant jusqu'à 40 % de jugements de vérité inversés dans les domaines fragiles (tels que les définitions de mots), tandis que les énoncés fictionnels familiers restent plus cohéremment regroupés et entraînent des changements plus faibles (≤ 8,2 %). Ces résultats suggèrent que la stabilité représentationnelle découle davantage de la familiarité épistémique que de la forme linguistique. Plus largement, notre approge fournit un outil diagnostique pour auditer et entraîner les LLM afin de préserver des assignations de vérité cohérentes sous incertitude sémantique, plutôt que d'optimiser uniquement la précision des sorties.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.