Репрезентативная стабильность истины в больших языковых моделях

Representational Stability of Truth in Large Language Models

November 24, 2025

Авторы: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

cs.AI

Аннотация

Крупные языковые модели (LLMs) широко используются для решения фактологических задач, таких как «Что лечит астму?» или «Какова столица Латвии?». Однако до сих пор неясно, насколько стабильно LLMs кодируют в своих внутренних вероятностных представлениях различия между истинным, ложным и ни-истинным-ни-ложным контентом. Мы вводим понятие репрезентационной стабильности как устойчивости репрезентаций достоверности в LLMs к perturbations в операциональном определении истины. Мы оцениваем репрезентационную стабильность путем (i) обучения линейного зонда на активациях LLMs для разделения истинных и не-истинных утверждений и (ii) измерения того, как смещается изученная им решающая граница при контролируемых изменениях меток. Используя активации шестнадцати моделей с открытым исходным кодом и три фактологические области, мы сравниваем два типа ни-утверждений. Первые — это фактоподобные утверждения о сущностях, которые, как мы полагаем, отсутствуют в любых обучающих данных. Мы называем их незнакомыми ни-утверждениями. Вторые — это нефактические утверждения, взятые из известных вымышленных контекстов. Мы называем их знакомыми ни-утверждениями. Незнакомые утверждения вызывают наибольшее смещение границы, приводя к изменению до 40% суждений об истинности в хрупких областях (таких как определения слов), в то время как знакомые вымышленные утверждения остаются более когерентно сгруппированными и дают меньшие изменения (≤ 8.2%). Эти результаты позволяют предположить, что репрезентационная стабильность проистекает в большей степени из эпистемической familiarity, чем из лингвистической формы. В более широком смысле, наш подход предоставляет диагностический инструмент для аудита и обучения LLMs с целью сохранения когерентных назначений истинности в условиях семантической неопределенности, а не просто оптимизации для точности выходных данных.

English

Large language models (LLMs) are widely used for factual tasks such as "What treats asthma?" or "What is the capital of Latvia?". However, it remains unclear how stably LLMs encode distinctions between true, false, and neither-true-nor-false content in their internal probabilistic representations. We introduce representational stability as the robustness of an LLM's veracity representations to perturbations in the operational definition of truth. We assess representational stability by (i) training a linear probe on an LLM's activations to separate true from not-true statements and (ii) measuring how its learned decision boundary shifts under controlled label changes. Using activations from sixteen open-source models and three factual domains, we compare two types of neither statements. The first are fact-like assertions about entities we believe to be absent from any training data. We call these unfamiliar neither statements. The second are nonfactual claims drawn from well-known fictional contexts. We call these familiar neither statements. The unfamiliar statements induce the largest boundary shifts, producing up to 40% flipped truth judgements in fragile domains (such as word definitions), while familiar fictional statements remain more coherently clustered and yield smaller changes (leq 8.2%). These results suggest that representational stability stems more from epistemic familiarity than from linguistic form. More broadly, our approach provides a diagnostic for auditing and training LLMs to preserve coherent truth assignments under semantic uncertainty, rather than optimizing for output accuracy alone.