Gemma Scope: Open Sparse Autoencoders Overal Tegelijkertijd op Gemma 2

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Auteurs: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Samenvatting

Sparse autoencoders (SAE's) zijn een onbewaakte methode voor het leren van een sparse decompositie van de latente representaties van een neuraal netwerk in schijnbaar interpreteerbare kenmerken. Ondanks de recente opwinding over hun potentieel, worden onderzoeksapplicaties buiten de industrie beperkt door de hoge kosten van het trainen van een uitgebreide set SAE's. In dit werk introduceren we Gemma Scope, een open suite van JumpReLU SAE's getraind op alle lagen en sublagen van Gemma 2 2B en 9B en geselecteerde lagen van Gemma 2 27B basismodellen. We trainen voornamelijk SAE's op de vooraf getrainde Gemma 2-modellen, maar geven daarnaast ook SAE's vrij die zijn getraind op de instructie-getunede Gemma 2 9B voor vergelijking. We evalueren de kwaliteit van elke SAE aan de hand van standaardmetrieken en publiceren deze resultaten. We hopen dat door het vrijgeven van deze SAE-gewichten, we ambitieuzer onderzoek naar veiligheid en interpreteerbaarheid voor de gemeenschap kunnen vergemakkelijken. Gewichten en een tutorial zijn te vinden op https://huggingface.co/google/gemma-scope en een interactieve demo is beschikbaar op https://www.neuronpedia.org/gemma-scope.

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope