Descifrando la Materia Oscura: Autoencoders Especializados Escasos para Interpretar Conceptos Raros en Modelos Fundamentales

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Autores: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Resumen

La comprensión y mitigación de los posibles riesgos asociados con los modelos base (FMs) depende del desarrollo de métodos efectivos de interpretabilidad. Los Autoencoders Dispersos (SAEs) han surgido como una herramienta prometedora para desentrañar las representaciones de los FMs, pero tienen dificultades para capturar conceptos raros, aunque cruciales, en los datos. Introducimos los Autoencoders Dispersos Especializados (SSAEs), diseñados para iluminar estas características esquivas de la materia oscura enfocándose en subdominios específicos. Presentamos una receta práctica para entrenar SSAEs, demostrando la eficacia de la recuperación densa para la selección de datos y los beneficios de la Minimización del Riesgo Empírico Inclinado como objetivo de entrenamiento para mejorar la recuperación de conceptos. Nuestra evaluación de los SSAEs en métricas estándar, como la perplejidad descendente y la dispersión L_0, muestra que capturan efectivamente los conceptos de cola del subdominio, superando las capacidades de los SAEs de propósito general. Mostramos la utilidad práctica de los SSAEs en un estudio de caso sobre el conjunto de datos de Sesgo en Bios, donde los SSAEs logran un aumento del 12.5\% en la precisión de clasificación del peor grupo cuando se aplican para eliminar información de género espuria. Los SSAEs proporcionan una nueva y poderosa perspectiva para observar el funcionamiento interno de los FMs en subdominios.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.