Vorausspringen: Verbesserung der Rekonstruktionsgenauigkeit mit JumpReLU Sparse Autoencodern.

Jumping Ahead: Improving Reconstruction Fidelity with JumpReLU Sparse Autoencoders

July 19, 2024

Autoren: Senthooran Rajamanoharan, Tom Lieberum, Nicolas Sonnerat, Arthur Conmy, Vikrant Varma, János Kramár, Neel Nanda

cs.AI

Zusammenfassung

Sparse Autoencoder (SAE) sind ein vielversprechender unüberwachter Ansatz zur Identifizierung von kausal relevanten und interpretierbaren linearen Merkmalen in den Aktivierungen eines Sprachmodells (LM). Um für nachgelagerte Aufgaben nützlich zu sein, müssen SAEs die Aktivierungen des LM treu zerlegen; jedoch muss die Zerlegung spärlich sein, um interpretierbar zu sein - zwei Ziele, die sich widersprechen. In diesem Paper stellen wir JumpReLU SAEs vor, die im Vergleich zu anderen aktuellen Fortschritten wie Gated und TopK SAEs einen State-of-the-Art Rekonstruktionsfidelität bei einem gegebenen Sparsamkeitsniveau auf Gemma 2 9B-Aktivierungen erreichen. Wir zeigen auch, dass diese Verbesserung nicht auf Kosten der Interpretierbarkeit erfolgt, durch manuelle und automatisierte Interpretierbarkeitsstudien. JumpReLU SAEs sind eine einfache Modifikation von Vanilla (ReLU) SAEs - bei der wir die ReLU durch eine diskontinuierliche JumpReLU-Aktivierungsfunktion ersetzen - und sind ähnlich effizient im Training und Betrieb. Durch die Verwendung von Straight-Through-Schätzern (STEs) auf eine fundierte Weise zeigen wir, wie es möglich ist, JumpReLU SAEs effektiv zu trainieren, trotz der diskontinuierlichen JumpReLU-Funktion, die im Vorwärtspass des SAE eingeführt wird. Ebenso nutzen wir STEs, um L0 direkt auf Sparsamkeit zu trainieren, anstatt auf Proxys wie L1 zu trainieren, um Probleme wie Schrumpfung zu vermeiden.

English

Sparse autoencoders (SAEs) are a promising unsupervised approach for identifying causally relevant and interpretable linear features in a language model's (LM) activations. To be useful for downstream tasks, SAEs need to decompose LM activations faithfully; yet to be interpretable the decomposition must be sparse -- two objectives that are in tension. In this paper, we introduce JumpReLU SAEs, which achieve state-of-the-art reconstruction fidelity at a given sparsity level on Gemma 2 9B activations, compared to other recent advances such as Gated and TopK SAEs. We also show that this improvement does not come at the cost of interpretability through manual and automated interpretability studies. JumpReLU SAEs are a simple modification of vanilla (ReLU) SAEs -- where we replace the ReLU with a discontinuous JumpReLU activation function -- and are similarly efficient to train and run. By utilising straight-through-estimators (STEs) in a principled manner, we show how it is possible to train JumpReLU SAEs effectively despite the discontinuous JumpReLU function introduced in the SAE's forward pass. Similarly, we use STEs to directly train L0 to be sparse, instead of training on proxies such as L1, avoiding problems like shrinkage.