Over Relatie-Specifieke Neuronen in Grote Taalmodellen

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Auteurs: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Samenvatting

In grote taalmodellen (LLM's) kunnen bepaalde neuronen afzonderlijke stukjes kennis opslaan die tijdens de voorafgaande training zijn geleerd. Hoewel kennis doorgaans verschijnt als een combinatie van relaties en entiteiten, is het nog onduidelijk of sommige neuronen zich richten op een relatie op zichzelf - los van enige entiteit. Wij veronderstellen dat dergelijke neuronen een relatie in de invoertekst detecteren en de generatie die betrekking heeft op zo'n relatie sturen. Om dit te onderzoeken, bestuderen we de Llama-2 familie met een gekozen set relaties met een op statistieken gebaseerde methode. Onze experimenten tonen het bestaan van relatie-specifieke neuronen aan. We meten het effect van selectief deactiveren van kandidaat-neuronen die specifiek zijn voor relatie r op het vermogen van de LLM om (1) feiten waarvan de relatie r is en (2) feiten waarvan de relatie een andere relatie r' neq r is, te verwerken. Met betrekking tot hun vermogen om relatie-informatie te coderen, leveren we bewijs voor de volgende drie eigenschappen van relatie-specifieke neuronen. (i) Neuron cumulativiteit. De neuronen voor r vertonen een cumulatief effect, zodat het deactiveren van een groter deel ervan resulteert in de degradatie van meer feiten in r. (ii) Neuron veelzijdigheid. Neuronen kunnen worden gedeeld over meerdere nauw verwante en minder verwante relaties. Sommige relatie-neuronen worden overgedragen tussen talen. (iii) Neuron interferentie. Het deactiveren van neuronen die specifiek zijn voor één relatie kan de prestaties van LLM-generatie verbeteren voor feiten van andere relaties. We zullen onze code openbaar beschikbaar maken op https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.