Sobre Neuronas Específicas de Relación en Modelos de Lenguaje Grandes

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Autores: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Resumen

En los modelos de lenguaje grandes (LLMs), ciertas neuronas pueden almacenar piezas distintas de conocimiento aprendidas durante el preentrenamiento. Aunque el conocimiento suele manifestarse como una combinación de relaciones y entidades, no está claro si algunas neuronas se centran en una relación en sí misma, independientemente de cualquier entidad. Planteamos la hipótesis de que tales neuronas detectan una relación en el texto de entrada y guían la generación que involucra dicha relación. Para investigar esto, estudiamos la familia Llama-2 en un conjunto elegido de relaciones con un método basado en estadísticas. Nuestros experimentos demuestran la existencia de neuronas específicas de relación. Medimos el efecto de desactivar selectivamente las neuronas candidatas específicas para la relación r en la capacidad del LLM para manejar (1) hechos cuya relación es r y (2) hechos cuya relación es una relación diferente r' distinta de r. Con respecto a su capacidad para codificar información de relación, presentamos evidencia de las siguientes tres propiedades de las neuronas específicas de relación. (i) Cumulatividad de neuronas. Las neuronas para r presentan un efecto acumulativo de modo que desactivar una parte más grande de ellas resulta en la degradación de más hechos en r. (ii) Versatilidad de neuronas. Las neuronas pueden ser compartidas entre múltiples relaciones estrechamente relacionadas así como relaciones menos relacionadas. Algunas neuronas de relación se transfieren entre idiomas. (iii) Interferencia de neuronas. Desactivar neuronas específicas de una relación puede mejorar el rendimiento de generación del LLM para hechos de otras relaciones. Pondremos nuestro código a disposición del público en https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.