Posição: A Interpretabilidade Mecanicista Deve Priorizar a Consistência de Características em SAEs
Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs
May 26, 2025
Autores: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang
cs.AI
Resumo
Autoencoders Esparsos (SAEs) são uma ferramenta proeminente na interpretabilidade mecanicista (MI) para decompor as ativações de redes neurais em características interpretáveis. No entanto, a aspiração de identificar um conjunto canônico de características é desafiada pela inconsistência observada das características aprendidas pelos SAEs em diferentes execuções de treinamento, o que prejudica a confiabilidade e a eficiência da pesquisa em MI. Este artigo de posicionamento argumenta que a interpretabilidade mecanicista deve priorizar a consistência de características nos SAEs — a convergência confiável para conjuntos de características equivalentes em execuções independentes. Propomos o uso do Coeficiente de Correlação Média de Dicionários Pareados (PW-MCC) como uma métrica prática para operacionalizar a consistência e demonstramos que níveis elevados são alcançáveis (0,80 para SAEs TopK em ativações de LLMs) com escolhas arquiteturais apropriadas. Nossas contribuições incluem detalhar os benefícios de priorizar a consistência; fornecer fundamentação teórica e validação sintética usando um organismo modelo, que verifica o PW-MCC como um proxy confiável para a recuperação da verdade fundamental; e estender essas descobertas para dados reais de LLMs, onde a alta consistência de características está fortemente correlacionada com a similaridade semântica das explicações das características aprendidas. Defendemos uma mudança em toda a comunidade para medir sistematicamente a consistência de características, a fim de promover um progresso cumulativo robusto em MI.
English
Sparse Autoencoders (SAEs) are a prominent tool in mechanistic
interpretability (MI) for decomposing neural network activations into
interpretable features. However, the aspiration to identify a canonical set of
features is challenged by the observed inconsistency of learned SAE features
across different training runs, undermining the reliability and efficiency of
MI research. This position paper argues that mechanistic interpretability
should prioritize feature consistency in SAEs -- the reliable convergence to
equivalent feature sets across independent runs. We propose using the Pairwise
Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to
operationalize consistency and demonstrate that high levels are achievable
(0.80 for TopK SAEs on LLM activations) with appropriate architectural choices.
Our contributions include detailing the benefits of prioritizing consistency;
providing theoretical grounding and synthetic validation using a model
organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery;
and extending these findings to real-world LLM data, where high feature
consistency strongly correlates with the semantic similarity of learned feature
explanations. We call for a community-wide shift towards systematically
measuring feature consistency to foster robust cumulative progress in MI.