Het verbeteren van geautomatiseerde interpreteerbaarheid met op output gerichte kenmerkbeschrijvingen.

Enhancing Automated Interpretability with Output-Centric Feature Descriptions

January 14, 2025

Auteurs: Yoav Gur-Arieh, Roy Mayan, Chen Agassy, Atticus Geiger, Mor Geva

cs.AI

Samenvatting

Geautomatiseerde interpreteerbaarheidspijplijnen genereren natuurlijke taalbeschrijvingen voor de concepten die worden vertegenwoordigd door kenmerken in grote taalmodellen (LLM's), zoals planten of het eerste woord in een zin. Deze beschrijvingen worden afgeleid met behulp van invoergegevens die het kenmerk activeren, wat een dimensie of een richting kan zijn in de representatieruimte van het model. Het identificeren van activerende invoergegevens is echter kostbaar, en de mechanistische rol van een kenmerk in het modelgedrag wordt bepaald door zowel hoe invoergegevens een kenmerk activeren als door hoe kenmerkactivatie de uitvoer beïnvloedt. Met behulp van stuurbeoordelingen onthullen we dat huidige pijplijnen beschrijvingen leveren die niet de causale effecten van het kenmerk op de uitvoer vastleggen. Om dit op te lossen, stellen we efficiënte, op de uitvoer gerichte methoden voor om automatisch kenmerkbeschrijvingen te genereren. Deze methoden gebruiken de tokens met een hoger gewicht na kenmerkstimulatie of de tokens met het hoogste gewicht na het direct toepassen van de "ontembeddings"-functie op het kenmerk. Onze op de uitvoer gerichte beschrijvingen leggen beter de causale effecten van een kenmerk op de modeluitvoer vast dan op de invoer gerichte beschrijvingen, maar door de twee te combineren behalen we de beste prestaties bij zowel invoer- als uitvoerbeoordelingen. Tot slot tonen we aan dat op de uitvoer gerichte beschrijvingen kunnen worden gebruikt om invoergegevens te vinden die kenmerken activeren die eerder als "inactief" werden beschouwd.

English

Automated interpretability pipelines generate natural language descriptions for the concepts represented by features in large language models (LLMs), such as plants or the first word in a sentence. These descriptions are derived using inputs that activate the feature, which may be a dimension or a direction in the model's representation space. However, identifying activating inputs is costly, and the mechanistic role of a feature in model behavior is determined both by how inputs cause a feature to activate and by how feature activation affects outputs. Using steering evaluations, we reveal that current pipelines provide descriptions that fail to capture the causal effect of the feature on outputs. To fix this, we propose efficient, output-centric methods for automatically generating feature descriptions. These methods use the tokens weighted higher after feature stimulation or the highest weight tokens after applying the vocabulary "unembedding" head directly to the feature. Our output-centric descriptions better capture the causal effect of a feature on model outputs than input-centric descriptions, but combining the two leads to the best performance on both input and output evaluations. Lastly, we show that output-centric descriptions can be used to find inputs that activate features previously thought to be "dead".