Decodificando Matéria Escura: Autoencoders Especializados Esparsos para Interpretar Conceitos Raros em Modelos Fundamentais

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Autores: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Resumo

Compreender e mitigar os potenciais riscos associados aos modelos fundamentais (FMs) depende do desenvolvimento de métodos de interpretabilidade eficazes. Os Autoencoders Esparsos (SAEs) surgiram como uma ferramenta promissora para desembaraçar as representações dos FMs, mas têm dificuldade em capturar conceitos raros, porém cruciais nos dados. Apresentamos os Autoencoders Especializados Esparsos (SSAEs), projetados para iluminar esses recursos elusivos de matéria escura, concentrando-se em subdomínios específicos. Apresentamos uma receita prática para treinar os SSAEs, demonstrando a eficácia da recuperação densa para seleção de dados e os benefícios da Minimização de Risco Empírico Inclinado como objetivo de treinamento para melhorar a recordação de conceitos. Nossa avaliação dos SSAEs em métricas padrão, como perplexidade subsequente e esparsidade L_0, mostra que eles capturam efetivamente os conceitos de cauda do subdomínio, superando as capacidades dos SAEs de propósito geral. Demonstramos a utilidade prática dos SSAEs em um estudo de caso no conjunto de dados Bias in Bios, onde os SSAEs alcançam um aumento de 12,5\% na precisão de classificação do pior grupo quando aplicados para remover informações de gênero espúrias. Os SSAEs fornecem uma nova e poderosa lente para examinar o funcionamento interno dos FMs em subdomínios.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.