Ambito di Gemma: Autoencoder Sparse Aperti Ovunque Tutti Insieme su Gemma 2

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Autori: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Abstract

Gli autoencoder sparsi (SAE) sono un metodo non supervisionato per apprendere una decomposizione sparsa delle rappresentazioni latenti di una rete neurale in caratteristiche apparentemente interpretabili. Nonostante il recente entusiasmo riguardo al loro potenziale, le applicazioni di ricerca al di fuori dell'industria sono limitate dall'elevato costo di addestramento di una suite completa di SAE. In questo lavoro, introduciamo Gemma Scope, una suite aperta di JumpReLU SAE addestrati su tutti i livelli e sottolivelli dei modelli base Gemma 2 2B e 9B e su livelli selezionati di Gemma 2 27B. Addestriamo principalmente SAE sui modelli pre-addestrati Gemma 2, ma rilasciamo anche SAE addestrati su Gemma 2 9B ottimizzato per istruzioni, a scopo di confronto. Valutiamo la qualità di ciascun SAE utilizzando metriche standard e pubblichiamo questi risultati. Speriamo che, rilasciando questi pesi SAE, possiamo contribuire a rendere più accessibili ricerche ambiziose sulla sicurezza e l'interpretabilità per la comunità. I pesi e un tutorial sono disponibili all'indirizzo https://huggingface.co/google/gemma-scope, mentre una demo interattiva è disponibile all'indirizzo https://www.neuronpedia.org/gemma-scope.

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope