Neuronas de Verdad

Truth Neurons

May 18, 2025

Autores: Haohang Li, Yupeng Cao, Yangyang Yu, Jordan W. Suchow, Zining Zhu

cs.AI

Resumen

A pesar de su notable éxito y despliegue en diversos flujos de trabajo, los modelos de lenguaje a veces producen respuestas no veraces. Nuestra comprensión limitada de cómo la veracidad se codifica mecánicamente dentro de estos modelos pone en riesgo su confiabilidad y seguridad. En este artículo, proponemos un método para identificar representaciones de veracidad a nivel neuronal. Demostramos que los modelos de lenguaje contienen neuronas de veracidad, que codifican la veracidad de manera independiente del tema. Experimentos realizados en modelos de diversas escalas validan la existencia de neuronas de veracidad, confirmando que la codificación de la veracidad a nivel neuronal es una propiedad compartida por muchos modelos de lenguaje. Los patrones de distribución de las neuronas de veracidad a lo largo de las capas coinciden con hallazgos previos sobre la geometría de la veracidad. La supresión selectiva de las activaciones de las neuronas de veracidad identificadas mediante el conjunto de datos TruthfulQA degrada el rendimiento tanto en TruthfulQA como en otros puntos de referencia, mostrando que los mecanismos de veracidad no están vinculados a un conjunto de datos específico. Nuestros resultados ofrecen nuevas perspectivas sobre los mecanismos subyacentes a la veracidad en los modelos de lenguaje y destacan posibles direcciones para mejorar su confiabilidad y fiabilidad.

English

Despite their remarkable success and deployment across diverse workflows, language models sometimes produce untruthful responses. Our limited understanding of how truthfulness is mechanistically encoded within these models jeopardizes their reliability and safety. In this paper, we propose a method for identifying representations of truthfulness at the neuron level. We show that language models contain truth neurons, which encode truthfulness in a subject-agnostic manner. Experiments conducted across models of varying scales validate the existence of truth neurons, confirming that the encoding of truthfulness at the neuron level is a property shared by many language models. The distribution patterns of truth neurons over layers align with prior findings on the geometry of truthfulness. Selectively suppressing the activations of truth neurons found through the TruthfulQA dataset degrades performance both on TruthfulQA and on other benchmarks, showing that the truthfulness mechanisms are not tied to a specific dataset. Our results offer novel insights into the mechanisms underlying truthfulness in language models and highlight potential directions toward improving their trustworthiness and reliability.