Portée de Gemma : Des autoencodeurs éparses ouverts partout et simultanément sur Gemma 2

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Auteurs: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Résumé

Les autoencodeurs parcimonieux (SAE) constituent une méthode non supervisée pour apprendre une décomposition parcimonieuse des représentations latentes d'un réseau neuronal en caractéristiques apparemment interprétables. Malgré l'enthousiasme récent suscité par leur potentiel, les applications de recherche en dehors de l'industrie sont limitées par le coût élevé de l'entraînement d'une suite complète de SAE. Dans ce travail, nous présentons Gemma Scope, une suite ouverte de SAE JumpReLU entraînés sur toutes les couches et sous-couches des modèles de base Gemma 2 2B et 9B, ainsi que sur certaines couches de Gemma 2 27B. Nous entraînons principalement les SAE sur les modèles pré-entraînés Gemma 2, mais nous publions également des SAE entraînés sur la version ajustée par instructions de Gemma 2 9B à des fins de comparaison. Nous évaluons la qualité de chaque SAE selon des métriques standard et publions ces résultats. Nous espérons qu'en publiant ces poids de SAE, nous pourrons faciliter des recherches plus ambitieuses en matière de sécurité et d'interprétabilité pour la communauté. Les poids et un tutoriel sont disponibles à l'adresse https://huggingface.co/google/gemma-scope, et une démonstration interactive est accessible à l'adresse https://www.neuronpedia.org/gemma-scope.

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope