Wahrheitsneuronen

Truth Neurons

May 18, 2025

Autoren: Haohang Li, Yupeng Cao, Yangyang Yu, Jordan W. Suchow, Zining Zhu

cs.AI

Zusammenfassung

Trotz ihres bemerkenswerten Erfolgs und ihrer breiten Anwendung in verschiedenen Workflows erzeugen Sprachmodelle manchmal unwahre Antworten. Unser begrenztes Verständnis darüber, wie Wahrhaftigkeit mechanistisch in diesen Modellen kodiert ist, gefährdet deren Zuverlässigkeit und Sicherheit. In diesem Artikel schlagen wir eine Methode zur Identifizierung von Repräsentationen der Wahrhaftigkeit auf Neuronenebene vor. Wir zeigen, dass Sprachmodelle Wahrheitsneuronen enthalten, die Wahrhaftigkeit in einer themenunabhängigen Weise kodieren. Experimente, die an Modellen unterschiedlicher Größe durchgeführt wurden, bestätigen die Existenz von Wahrheitsneuronen und zeigen, dass die Kodierung von Wahrhaftigkeit auf Neuronenebene eine Eigenschaft ist, die viele Sprachmodelle gemeinsam haben. Die Verteilungsmuster der Wahrheitsneuronen über die Schichten hinweg stimmen mit früheren Erkenntnissen zur Geometrie der Wahrhaftigkeit überein. Die selektive Unterdrückung der Aktivierungen von Wahrheitsneuronen, die durch den TruthfulQA-Datensatz identifiziert wurden, verschlechtert die Leistung sowohl auf TruthfulQA als auch auf anderen Benchmarks, was zeigt, dass die Mechanismen der Wahrhaftigkeit nicht an einen bestimmten Datensatz gebunden sind. Unsere Ergebnisse bieten neue Einblicke in die Mechanismen, die der Wahrhaftigkeit in Sprachmodellen zugrunde liegen, und weisen auf potenzielle Richtungen zur Verbesserung ihrer Vertrauenswürdigkeit und Zuverlässigkeit hin.

English

Despite their remarkable success and deployment across diverse workflows, language models sometimes produce untruthful responses. Our limited understanding of how truthfulness is mechanistically encoded within these models jeopardizes their reliability and safety. In this paper, we propose a method for identifying representations of truthfulness at the neuron level. We show that language models contain truth neurons, which encode truthfulness in a subject-agnostic manner. Experiments conducted across models of varying scales validate the existence of truth neurons, confirming that the encoding of truthfulness at the neuron level is a property shared by many language models. The distribution patterns of truth neurons over layers align with prior findings on the geometry of truthfulness. Selectively suppressing the activations of truth neurons found through the TruthfulQA dataset degrades performance both on TruthfulQA and on other benchmarks, showing that the truthfulness mechanisms are not tied to a specific dataset. Our results offer novel insights into the mechanisms underlying truthfulness in language models and highlight potential directions toward improving their trustworthiness and reliability.