Über relationsspezifische Neuronen in großen Sprachmodellen

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Autoren: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Zusammenfassung

In großen Sprachmodellen (LLMs) können bestimmte Neuronen unterschiedliche Wissensstücke speichern, die während des Vortrainings gelernt wurden. Während Wissen in der Regel als Kombination von Relationen und Entitäten erscheint, bleibt unklar, ob einige Neuronen sich auf eine Relation selbst konzentrieren - unabhängig von einer Entität. Wir stellen die Hypothese auf, dass solche Neuronen eine Relation im Eingabetext erkennen und die Generierung, die eine solche Relation betrifft, lenken. Um dies zu untersuchen, studieren wir die Llama-2-Familie anhand einer ausgewählten Gruppe von Relationen mit einer statistikbasierten Methode. Unsere Experimente zeigen die Existenz von relationspezifischen Neuronen auf. Wir messen die Auswirkung der selektiven Deaktivierung von Kandidaten-Neuronen, die spezifisch für die Relation r sind, auf die Fähigkeit des LLM, (1) Fakten mit der Relation r und (2) Fakten mit einer anderen Relation r' neq r zu verarbeiten. In Bezug auf ihre Fähigkeit, Relationsinformationen zu codieren, liefern wir Belege für die folgenden drei Eigenschaften von relationspezifischen Neuronen. (i) Neuronen-Kumulativität. Die Neuronen für r zeigen eine kumulative Wirkung, sodass das Deaktivieren eines größeren Teils von ihnen zu einer Verschlechterung von mehr Fakten in r führt. (ii) Neuronen-Vielseitigkeit. Neuronen können über mehrere eng verwandte sowie weniger verwandte Relationen hinweg gemeinsam genutzt werden. Einige Relationsneuronen übertragen sich zwischen Sprachen. (iii) Neuronen-Interferenz. Das Deaktivieren von Neuronen, die spezifisch für eine Relation sind, kann die Generierungsleistung des LLM für Fakten anderer Relationen verbessern. Wir werden unseren Code öffentlich zugänglich machen unter https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.