Sobre Neurônios Específicos de Relação em Modelos de Linguagem Grandes

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Autores: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Resumo

Em grandes modelos de linguagem (LLMs), certos neurônios podem armazenar peças distintas de conhecimento aprendidas durante o pré-treinamento. Enquanto o conhecimento normalmente aparece como uma combinação de relações e entidades, ainda não está claro se alguns neurônios se concentram em uma relação em si -- independente de qualquer entidade. Nossa hipótese é que tais neurônios detectam uma relação no texto de entrada e orientam a geração envolvendo tal relação. Para investigar isso, estudamos a família Llama-2 em um conjunto escolhido de relações com um método baseado em estatísticas. Nossos experimentos demonstram a existência de neurônios específicos de relação. Medimos o efeito de desativar seletivamente neurônios candidatos específicos para a relação r na capacidade do LLM de lidar com (1) fatos cuja relação é r e (2) fatos cuja relação é uma relação diferente r' neq r. Com relação à capacidade de codificar informações de relação, fornecemos evidências para as seguintes três propriedades dos neurônios específicos de relação. (i) Cumulatividade do neurônio. Os neurônios para r apresentam um efeito cumulativo de modo que desativar uma parte maior deles resulta na degradação de mais fatos em r. (ii) Versatilidade do neurônio. Os neurônios podem ser compartilhados entre múltiplas relações intimamente relacionadas, bem como relações menos relacionadas. Alguns neurônios de relação são transferidos entre idiomas. (iii) Interferência do neurônio. Desativar neurônios específicos de uma relação pode melhorar o desempenho de geração do LLM para fatos de outras relações. Disponibilizaremos nosso código publicamente em https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.