Sui Neuroni Specifici della Relazione nei Grandi Modelli Linguistici

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Autori: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Abstract

Nei grandi modelli linguistici (LLM), certi neuroni possono memorizzare pezzi distinti di conoscenza appresa durante la preformazione. Sebbene la conoscenza appaia tipicamente come una combinazione di relazioni ed entità, non è chiaro se alcuni neuroni si concentrino su una relazione in sé -- indipendentemente da qualsiasi entità. Ipotizziamo che tali neuroni individuino una relazione nel testo in input e guidino la generazione che coinvolge tale relazione. Per indagare ciò, studiamo la famiglia Llama-2 su un insieme scelto di relazioni con un metodo basato su statistiche. I nostri esperimenti dimostrano l'esistenza di neuroni specifici per le relazioni. Misuriamo l'effetto della disattivazione selettiva dei neuroni candidati specifici per la relazione r sulla capacità del LLM di gestire (1) fatti la cui relazione è r e (2) fatti la cui relazione è una diversa relazione r' neq r. Riguardo alla loro capacità di codificare informazioni sulla relazione, forniamo prove per le seguenti tre proprietà dei neuroni specifici per le relazioni. (i) Cumulatività dei neuroni. I neuroni per r presentano un effetto cumulativo tale che disattivare una parte maggiore di essi comporta la degradazione di più fatti in r. (ii) Versatilità dei neuroni. I neuroni possono essere condivisi tra più relazioni strettamente correlate così come tra relazioni meno correlate. Alcuni neuroni di relazione si trasferiscono tra lingue. (iii) Interferenza dei neuroni. Disattivare neuroni specifici per una relazione può migliorare le prestazioni di generazione del LLM per fatti di altre relazioni. Metteremo il nostro codice a disposizione pubblicamente su https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.