Positie: Mechanistische Interpretabiliteit Moet Prioriteit Geven aan Featureconsistentie in SAE's
Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs
May 26, 2025
Auteurs: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang
cs.AI
Samenvatting
Sparse Autoencoders (SAEs) zijn een belangrijk instrument in mechanistische interpretatie (MI) voor het ontbinden van neurale netwerkactivaties in interpreteerbare kenmerken. De ambitie om een canonieke set kenmerken te identificeren wordt echter bemoeilijkt door de waargenomen inconsistentie van geleerde SAE-kenmerken over verschillende trainingsruns heen, wat de betrouwbaarheid en efficiëntie van MI-onderzoek ondermijnt. Dit position paper betoogt dat mechanistische interpretatie prioriteit moet geven aan kenmerkconsistentie in SAEs — de betrouwbare convergentie naar equivalente kensets over onafhankelijke runs heen. Wij stellen voor om de Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) te gebruiken als een praktische maatstaf om consistentie te operationaliseren en laten zien dat hoge niveaus haalbaar zijn (0,80 voor TopK SAEs op LLM-activaties) met de juiste architectonische keuzes. Onze bijdragen omvatten het detailleren van de voordelen van het prioriteren van consistentie; het bieden van een theoretische onderbouwing en synthetische validatie met behulp van een modelorganisme, wat PW-MCC bevestigt als een betrouwbare proxy voor het herstellen van de grondwaarheid; en het uitbreiden van deze bevindingen naar real-world LLM-data, waar hoge kenmerkconsistentie sterk correleert met de semantische gelijkenis van geleerde kenmerkverklaringen. Wij roepen op tot een gemeenschapsbrede verschuiving naar het systematisch meten van kenmerkconsistentie om robuuste cumulatieve vooruitgang in MI te bevorderen.
English
Sparse Autoencoders (SAEs) are a prominent tool in mechanistic
interpretability (MI) for decomposing neural network activations into
interpretable features. However, the aspiration to identify a canonical set of
features is challenged by the observed inconsistency of learned SAE features
across different training runs, undermining the reliability and efficiency of
MI research. This position paper argues that mechanistic interpretability
should prioritize feature consistency in SAEs -- the reliable convergence to
equivalent feature sets across independent runs. We propose using the Pairwise
Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to
operationalize consistency and demonstrate that high levels are achievable
(0.80 for TopK SAEs on LLM activations) with appropriate architectural choices.
Our contributions include detailing the benefits of prioritizing consistency;
providing theoretical grounding and synthetic validation using a model
organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery;
and extending these findings to real-world LLM data, where high feature
consistency strongly correlates with the semantic similarity of learned feature
explanations. We call for a community-wide shift towards systematically
measuring feature consistency to foster robust cumulative progress in MI.