Gemma Scope: Открытые разреженные автоэнкодеры повсюду одновременно на Gemma 2

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

August 9, 2024

Авторы: Tom Lieberum, Senthooran Rajamanoharan, Arthur Conmy, Lewis Smith, Nicolas Sonnerat, Vikrant Varma, János Kramár, Anca Dragan, Rohin Shah, Neel Nanda

cs.AI

Аннотация

Разреженные автокодировщики (SAE) представляют собой метод без учителя для изучения разреженного разложения латентных представлений нейронной сети на кажущиеся интерпретируемые признаки. Несмотря на недавнее возбуждение относительно их потенциала, исследовательские применения вне промышленности ограничены высокой стоимостью обучения полного комплекта SAE. В данной работе мы представляем Gemma Scope, открытый набор JumpReLU SAE, обученных на всех слоях и подслоях моделей Gemma 2 2B и 9B, а также на выбранных слоях базовых моделей Gemma 2 27B. Мы в основном обучаем SAE на предварительно обученных моделях Gemma 2, но также выпускаем SAE, обученные на инструкциях Gemma 2 9B для сравнения. Мы оцениваем качество каждого SAE по стандартным метрикам и публикуем эти результаты. Мы надеемся, что, выпустив эти веса SAE, мы сможем помочь сообществу сделать более амбициозные исследования по безопасности и интерпретируемости более доступными. Веса и руководство можно найти на https://huggingface.co/google/gemma-scope, а интерактивный демонстрационный материал доступен на https://www.neuronpedia.org/gemma-scope

English

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network's latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope