Расшифровка Темной Материи: Специализированные Разреженные Автокодировщики для Интерпретации Редких Концепций в Основных Моделях

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Авторы: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Аннотация

Понимание и смягчение потенциальных рисков, связанных с базовыми моделями (FMs), зависит от разработки эффективных методов интерпретируемости. Разреженные автокодировщики (SAEs) выступают как многообещающий инструмент для разъяснения представлений FM, однако они испытывают затруднения в захвате редких, но важных концепций в данных. Мы представляем Специализированные Разреженные Автокодировщики (SSAEs), разработанные для выявления этих ускользающих особенностей "темной материи", фокусируясь на конкретных поддоменах. Мы представляем практический рецепт для обучения SSAEs, демонстрируя эффективность плотного извлечения для выбора данных и преимущества наклоненной эмпирической минимизации риска в качестве цели обучения для улучшения восприятия концепции. Наша оценка SSAEs по стандартным метрикам, таким как последующая непонятность и L_0 разреженность, показывает, что они эффективно захватывают концепции хвостов поддоменов, превосходя возможности универсальных SAEs. Мы демонстрируем практическую полезность SSAEs в кейс-стади на наборе данных Bias in Bios, где SSAEs достигают увеличения точности классификации худшей группы на 12,5\%, когда применяются для удаления ложной информации о поле. SSAEs предоставляют мощную новую линзу для вглядывания во внутренние механизмы FMs в поддоменах.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.