Posición: La interpretabilidad mecanicista debería priorizar la consistencia de características en SAEs
Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs
May 26, 2025
Autores: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang
cs.AI
Resumen
Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) son una herramienta destacada en la interpretabilidad mecanicista (MI) para descomponer las activaciones de redes neuronales en características interpretables. Sin embargo, la aspiración de identificar un conjunto canónico de características se ve desafiada por la inconsistencia observada en las características aprendidas por los SAEs en diferentes ejecuciones de entrenamiento, lo que socava la confiabilidad y eficiencia de la investigación en MI. Este documento de posición argumenta que la interpretabilidad mecanicista debería priorizar la consistencia de características en los SAEs, es decir, la convergencia confiable hacia conjuntos de características equivalentes en ejecuciones independientes. Proponemos utilizar el Coeficiente de Correlación Media de Diccionarios por Pares (PW-MCC) como una métrica práctica para operacionalizar la consistencia y demostramos que es posible alcanzar niveles altos (0.80 para SAEs TopK en activaciones de LLM) con elecciones arquitectónicas adecuadas. Nuestras contribuciones incluyen detallar los beneficios de priorizar la consistencia; proporcionar fundamentos teóricos y validación sintética utilizando un organismo modelo, lo que verifica que el PW-MCC es un indicador confiable para la recuperación de la verdad fundamental; y extender estos hallazgos a datos reales de LLM, donde una alta consistencia de características se correlaciona fuertemente con la similitud semántica de las explicaciones de las características aprendidas. Hacemos un llamado para un cambio comunitario hacia la medición sistemática de la consistencia de características, con el fin de fomentar un progreso acumulativo robusto en MI.
English
Sparse Autoencoders (SAEs) are a prominent tool in mechanistic
interpretability (MI) for decomposing neural network activations into
interpretable features. However, the aspiration to identify a canonical set of
features is challenged by the observed inconsistency of learned SAE features
across different training runs, undermining the reliability and efficiency of
MI research. This position paper argues that mechanistic interpretability
should prioritize feature consistency in SAEs -- the reliable convergence to
equivalent feature sets across independent runs. We propose using the Pairwise
Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to
operationalize consistency and demonstrate that high levels are achievable
(0.80 for TopK SAEs on LLM activations) with appropriate architectural choices.
Our contributions include detailing the benefits of prioritizing consistency;
providing theoretical grounding and synthetic validation using a model
organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery;
and extending these findings to real-world LLM data, where high feature
consistency strongly correlates with the semantic similarity of learned feature
explanations. We call for a community-wide shift towards systematically
measuring feature consistency to foster robust cumulative progress in MI.Summary
AI-Generated Summary