Position : L'interprétabilité mécaniste devrait privilégier la cohérence des caractéristiques dans les SAE

Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs

May 26, 2025

Auteurs: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang

cs.AI

Résumé

Les autoencodeurs parcimonieux (SAE) constituent un outil majeur en interprétabilité mécaniste (MI) pour décomposer les activations des réseaux de neurones en caractéristiques interprétables. Cependant, l'aspiration à identifier un ensemble canonique de caractéristiques est mise à mal par l'incohérence observée des caractéristiques apprises par les SAE entre différentes sessions d'entraînement, ce qui compromet la fiabilité et l'efficacité de la recherche en MI. Ce document de position soutient que l'interprétabilité mécaniste devrait privilégier la cohérence des caractéristiques dans les SAE -- c'est-à-dire la convergence fiable vers des ensembles de caractéristiques équivalents lors de sessions indépendantes. Nous proposons d'utiliser le coefficient de corrélation moyen par paires de dictionnaires (PW-MCC) comme métrique pratique pour opérationnaliser cette cohérence et démontrons que des niveaux élevés sont atteignables (0,80 pour les SAE TopK sur les activations de LLM) avec des choix architecturaux appropriés. Nos contributions incluent la description des avantages de privilégier la cohérence ; la fourniture d'un fondement théorique et d'une validation synthétique à l'aide d'un organisme modèle, qui confirme que le PW-MCC est un proxy fiable pour la récupération de la vérité terrain ; et l'extension de ces résultats à des données réelles de LLM, où une forte cohérence des caractéristiques est fortement corrélée à la similarité sémantique des explications des caractéristiques apprises. Nous appelons à un changement communautaire vers la mesure systématique de la cohérence des caractéristiques pour favoriser un progrès cumulatif robuste en MI.

English

Sparse Autoencoders (SAEs) are a prominent tool in mechanistic interpretability (MI) for decomposing neural network activations into interpretable features. However, the aspiration to identify a canonical set of features is challenged by the observed inconsistency of learned SAE features across different training runs, undermining the reliability and efficiency of MI research. This position paper argues that mechanistic interpretability should prioritize feature consistency in SAEs -- the reliable convergence to equivalent feature sets across independent runs. We propose using the Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to operationalize consistency and demonstrate that high levels are achievable (0.80 for TopK SAEs on LLM activations) with appropriate architectural choices. Our contributions include detailing the benefits of prioritizing consistency; providing theoretical grounding and synthetic validation using a model organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery; and extending these findings to real-world LLM data, where high feature consistency strongly correlates with the semantic similarity of learned feature explanations. We call for a community-wide shift towards systematically measuring feature consistency to foster robust cumulative progress in MI.