Stabilità Rappresentazionale della Verità nei Modelli Linguistici di Grande Dimensione

Representational Stability of Truth in Large Language Models

November 24, 2025

Autori: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono ampiamente utilizzati per compiti fattuali come "Cosa cura l'asma?" o "Qual è la capitale della Lettonia?". Tuttavia, rimane poco chiaro quanto stabilmente gli LLM codifichino, nelle loro rappresentazioni probabilistiche interne, le distinzioni tra contenuti veri, falsi e né-veri-né-falsi. Introduciamo la stabilità rappresentazionale come la robustezza delle rappresentazioni di veridicità di un LLM rispetto a perturbazioni nella definizione operativa di verità. Valutiamo la stabilità rappresentazionale (i) addestrando una sonda lineare sulle attivazioni di un LLM per separare affermazioni vere da non-vere e (ii) misurando come il suo confine decisionale appreso si sposti sotto cambiamenti controllati delle etichette. Utilizzando le attivazioni di sedici modelli open-source e tre domini fattuali, confrontiamo due tipi di affermazioni "né". Il primo tipo è costituito da asserzioni simili a fatti riguardanti entità che riteniamo assenti da qualsiasi dato di addestramento. Chiamiamo queste *affermazioni né non familiari*. Il secondo tipo sono affermazioni non fattuali tratte da contesti fittizi ben noti. Chiamiamo queste *affermazioni né familiari*. Le affermazioni non familiari inducono i maggiori spostamenti del confine, producendo fino al 40% di giudizi di verità ribaltati in domini fragili (come le definizioni di parole), mentre le affermazioni fittizie familiari rimangono raggruppate in modo più coerente e producono cambiamenti minori (≤ 8.2%). Questi risultati suggeriscono che la stabilità rappresentazionale derivi più dalla familiarità epistemica che dalla forma linguistica. Più in generale, il nostro approccio fornisce uno strumento diagnostico per verificare e addestrare gli LLM al fine di preservare assegnazioni di verità coerenti sotto incertezza semantica, piuttosto che ottimizzare solo per l'accuratezza dell'output.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.