Gemma Scope: Öffnen Sie Sparse Autoencoders überall gleichzeitig auf Gemma 2.

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Autoren: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Zusammenfassung

Sparse Autoencoder (SAE) sind eine unüberwachte Methode zum Erlernen einer spärlichen Zerlegung der latenten Repräsentationen eines neuronalen Netzwerks in scheinbar interpretierbare Merkmale. Trotz des aktuellen Interesses an ihrem Potenzial sind Forschungsanwendungen außerhalb der Industrie aufgrund der hohen Kosten für das Training eines umfassenden Satzes von SAEs begrenzt. In dieser Arbeit stellen wir Gemma Scope vor, einen offenen Satz von JumpReLU-SAEs, die auf allen Schichten und Unterlagen von Gemma 2 2B und 9B sowie ausgewählten Schichten der Gemma 2 27B-Basismodelle trainiert sind. Wir trainieren hauptsächlich SAEs auf den vorab trainierten Gemma 2-Modellen, veröffentlichen jedoch zusätzlich SAEs, die auf instruktionsangepassten Gemma 2 9B für Vergleiche trainiert sind. Wir bewerten die Qualität jedes SAE anhand standardisierter Metriken und veröffentlichen diese Ergebnisse. Wir hoffen, dass wir durch die Veröffentlichung dieser SAE-Gewichte dazu beitragen können, dass ambitioniertere Sicherheits- und Interpretationsforschung für die Gemeinschaft einfacher wird. Die Gewichte und ein Tutorial sind unter https://huggingface.co/google/gemma-scope zu finden, und eine interaktive Demo ist unter https://www.neuronpedia.org/gemma-scope verfügbar.

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope