Estabilidade Representacional da Verdade em Modelos de Linguagem de Grande Escala

Representational Stability of Truth in Large Language Models

November 24, 2025

Autores: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) são amplamente utilizados para tarefas factuais, como "O que trata a asma?" ou "Qual é a capital da Letônia?". No entanto, permanece pouco claro quão estável é a codificação, por parte dos LLMs, das distinções entre conteúdo verdadeiro, falso e nem-verdadeiro-nem-falso nas suas representações probabilísticas internas. Introduzimos o conceito de estabilidade representacional como a robustez das representações de veracidade de um LLM a perturbações na definição operacional de verdade. Avaliamos a estabilidade representacional (i) treinando uma sonda linear nas ativações de um LLM para separar afirmações verdadeiras das não-verdadeiras e (ii) medindo como a sua fronteira de decisão aprendida se desloca sob mudanças controladas nos rótulos. Utilizando ativações de dezesseis modelos de código aberto e três domínios factuais, comparamos dois tipos de afirmações neutras (nem verdadeiras nem falsas). O primeiro tipo são asserções semelhantes a fatos sobre entidades que acreditamos estar ausentes de quaisquer dados de treinamento. Denominamos estas de afirmações neutras não familiares. O segundo tipo são afirmações não factuais extraídas de contextos ficcionais bem conhecidos. Denominamos estas de afirmações neutras familiares. As afirmações não familiares induzem os maiores deslocamentos da fronteira, produzindo até 40% de julgamentos de verdade invertidos em domínios frágeis (como definições de palavras), enquanto as afirmações ficcionais familiares permanecem agrupadas de forma mais coerente e produzem mudanças menores (≤ 8,2%). Estes resultados sugerem que a estabilidade representacional deriva mais da familiaridade epistêmica do que da forma linguística. De forma mais ampla, a nossa abordagem fornece um diagnóstico para auditar e treinar LLMs de modo a preservar atribuições de verdade coerentes sob incerteza semântica, em vez de otimizar apenas para a precisão da saída.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.