Estabilidad Representacional de la Verdad en Modelos de Lenguaje a Gran Escala

Representational Stability of Truth in Large Language Models

November 24, 2025

Autores: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

Resumen

Los modelos de lenguaje de gran tamaño (LLM) se utilizan ampliamente para tareas factuales como "¿Qué trata el asma?" o "¿Cuál es la capital de Letonia?". Sin embargo, aún no está claro cómo codifican de manera estable los LLM las distinciones entre contenido verdadero, falso y ni-verdadero-ni-falso en sus representaciones probabilísticas internas. Introducimos la estabilidad representacional como la robustez de las representaciones de veracidad de un LLM frente a perturbaciones en la definición operativa de verdad. Evaluamos la estabilidad representacional mediante (i) el entrenamiento de un probe lineal sobre las activaciones de un LLM para separar enunciados verdaderos de no verdaderos y (ii) la medición de cómo su frontera de decisión aprendida se desplaza bajo cambios controlados en las etiquetas. Utilizando activaciones de dieciséis modelos de código abierto y tres dominios factuales, comparamos dos tipos de enunciados "ni". Los primeros son afirmaciones de tipo factual sobre entidades que creemos están ausentes de cualquier dato de entrenamiento. Llamamos a estos enunciados "ni" no familiares. Los segundos son afirmaciones no factuales extraídas de contextos ficticios bien conocidos. Llamamos a estos enunciados "ni" familiares. Los enunciados no familiares inducen los mayores desplazamientos de la frontera, produciendo hasta un 40% de juicios de verdad invertidos en dominios frágiles (como definiciones de palabras), mientras que los enunciados ficticios familiares permanecen agrupados de manera más coherente y producen cambios menores (≤ 8.2%). Estos resultados sugieren que la estabilidad representacional proviene más de la familiaridad epistémica que de la forma lingüística. En términos más amplios, nuestro enfoque proporciona un diagnóstico para auditar y entrenar LLM con el fin de preservar asignaciones de verdad coherentes bajo incertidumbre semántica, en lugar de optimizar únicamente para la precisión de la salida.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.