Neuroni della Verità

Truth Neurons

May 18, 2025

Autori: Haohang Li, Yupeng Cao, Yangyang Yu, Jordan W. Suchow, Zining Zhu

cs.AI

Abstract

Nonostante il loro notevole successo e l'implementazione in flussi di lavoro diversificati, i modelli linguistici a volte producono risposte non veritiere. La nostra comprensione limitata di come la veridicità sia codificata meccanicamente all'interno di questi modelli compromette la loro affidabilità e sicurezza. In questo articolo, proponiamo un metodo per identificare le rappresentazioni della veridicità a livello neuronale. Dimostriamo che i modelli linguistici contengono neuroni della verità, che codificano la veridicità in modo indipendente dal soggetto. Esperimenti condotti su modelli di diverse dimensioni convalidano l'esistenza dei neuroni della verità, confermando che la codifica della veridicità a livello neuronale è una proprietà condivisa da molti modelli linguistici. I modelli di distribuzione dei neuroni della verità attraverso gli strati si allineano con precedenti scoperte sulla geometria della veridicità. La soppressione selettiva delle attivazioni dei neuroni della verità identificati attraverso il dataset TruthfulQA degrada le prestazioni sia su TruthfulQA che su altri benchmark, dimostrando che i meccanismi di veridicità non sono legati a un dataset specifico. I nostri risultati offrono nuove intuizioni sui meccanismi alla base della veridicità nei modelli linguistici e evidenziano potenziali direzioni per migliorarne l'affidabilità e la fiducia.

English

Despite their remarkable success and deployment across diverse workflows, language models sometimes produce untruthful responses. Our limited understanding of how truthfulness is mechanistically encoded within these models jeopardizes their reliability and safety. In this paper, we propose a method for identifying representations of truthfulness at the neuron level. We show that language models contain truth neurons, which encode truthfulness in a subject-agnostic manner. Experiments conducted across models of varying scales validate the existence of truth neurons, confirming that the encoding of truthfulness at the neuron level is a property shared by many language models. The distribution patterns of truth neurons over layers align with prior findings on the geometry of truthfulness. Selectively suppressing the activations of truth neurons found through the TruthfulQA dataset degrades performance both on TruthfulQA and on other benchmarks, showing that the truthfulness mechanisms are not tied to a specific dataset. Our results offer novel insights into the mechanisms underlying truthfulness in language models and highlight potential directions toward improving their trustworthiness and reliability.