Neurônios da Verdade

Truth Neurons

May 18, 2025

Autores: Haohang Li, Yupeng Cao, Yangyang Yu, Jordan W. Suchow, Zining Zhu

cs.AI

Resumo

Apesar de seu notável sucesso e implantação em diversos fluxos de trabalho, os modelos de linguagem às vezes produzem respostas não verídicas. Nossa compreensão limitada de como a veracidade é codificada mecanicamente nesses modelos compromete sua confiabilidade e segurança. Neste artigo, propomos um método para identificar representações de veracidade no nível neuronal. Demonstramos que os modelos de linguagem contêm neurônios da verdade, que codificam a veracidade de maneira independente do assunto. Experimentos conduzidos em modelos de diferentes escalas validam a existência desses neurônios, confirmando que a codificação da veracidade no nível neuronal é uma propriedade compartilhada por muitos modelos de linguagem. Os padrões de distribuição dos neurônios da verdade ao longo das camadas estão alinhados com descobertas anteriores sobre a geometria da veracidade. A supressão seletiva das ativações dos neurônios da verdade identificados por meio do conjunto de dados TruthfulQA degrada o desempenho tanto no TruthfulQA quanto em outros benchmarks, mostrando que os mecanismos de veracidade não estão vinculados a um conjunto de dados específico. Nossos resultados oferecem novas perspectivas sobre os mecanismos subjacentes à veracidade em modelos de linguagem e destacam direções potenciais para melhorar sua confiabilidade e segurança.

English

Despite their remarkable success and deployment across diverse workflows, language models sometimes produce untruthful responses. Our limited understanding of how truthfulness is mechanistically encoded within these models jeopardizes their reliability and safety. In this paper, we propose a method for identifying representations of truthfulness at the neuron level. We show that language models contain truth neurons, which encode truthfulness in a subject-agnostic manner. Experiments conducted across models of varying scales validate the existence of truth neurons, confirming that the encoding of truthfulness at the neuron level is a property shared by many language models. The distribution patterns of truth neurons over layers align with prior findings on the geometry of truthfulness. Selectively suppressing the activations of truth neurons found through the TruthfulQA dataset degrades performance both on TruthfulQA and on other benchmarks, showing that the truthfulness mechanisms are not tied to a specific dataset. Our results offer novel insights into the mechanisms underlying truthfulness in language models and highlight potential directions toward improving their trustworthiness and reliability.