Escopo Gemma: Autoencoders Esparsos Abertos em Todos os Lugares de Uma Só Vez na Gemma 2

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Autores: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Resumo

Os autoencoders esparsos (SAEs) são um método não supervisionado para aprender uma decomposição esparsa das representações latentes de uma rede neural em características aparentemente interpretáveis. Apesar do entusiasmo recente sobre seu potencial, as aplicações de pesquisa fora da indústria são limitadas pelo alto custo de treinar uma ampla gama de SAEs. Neste trabalho, apresentamos o Gemma Scope, uma suíte aberta de SAEs JumpReLU treinados em todas as camadas e subcamadas dos modelos base Gemma 2 2B e 9B e em camadas selecionadas dos modelos base Gemma 2 27B. Treinamos principalmente os SAEs nos modelos pré-treinados Gemma 2, mas também disponibilizamos SAEs treinados no Gemma 2 9B ajustado por instruções para comparação. Avaliamos a qualidade de cada SAE em métricas padrão e divulgamos esses resultados. Esperamos que, ao disponibilizar esses pesos dos SAEs, possamos ajudar a tornar a pesquisa de segurança e interpretabilidade mais ambiciosa mais fácil para a comunidade. Os pesos e um tutorial podem ser encontrados em https://huggingface.co/google/gemma-scope e uma demonstração interativa pode ser encontrada em https://www.neuronpedia.org/gemma-scope

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope