Position: Mechanistische Interpretierbarkeit sollte die Merkmalskonsistenz in SAEs priorisieren

Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs

May 26, 2025

Autoren: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang

cs.AI

Zusammenfassung

Sparse Autoencoder (SAEs) sind ein wichtiges Werkzeug in der mechanistischen Interpretierbarkeit (MI), um Aktivierungen in neuronalen Netzwerken in interpretierbare Merkmale zu zerlegen. Das Bestreben, einen kanonischen Satz von Merkmalen zu identifizieren, wird jedoch durch die beobachtete Inkonsistenz der gelernten SAE-Merkmale über verschiedene Trainingsläufe hinweg erschwert, was die Zuverlässigkeit und Effizienz der MI-Forschung untergräbt. Dieses Positionspapier argumentiert, dass die mechanistische Interpretierbarkeit die Merkmalskonsistenz in SAEs priorisieren sollte – die zuverlässige Konvergenz zu äquivalenten Merkmalssätzen über unabhängige Läufe hinweg. Wir schlagen vor, den Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) als praktische Metrik zur Operationalisierung der Konsistenz zu verwenden, und zeigen, dass hohe Werte (0,80 für TopK-SAEs bei LLM-Aktivierungen) mit geeigneten architektonischen Entscheidungen erreichbar sind. Unsere Beiträge umfassen die Darlegung der Vorteile einer Priorisierung der Konsistenz; die Bereitstellung einer theoretischen Grundlage und synthetischen Validierung mithilfe eines Modellorganismus, die den PW-MCC als zuverlässigen Proxy für die Wiederherstellung der Grundwahrheit bestätigt; und die Erweiterung dieser Erkenntnisse auf reale LLM-Daten, bei denen eine hohe Merkmalskonsistenz stark mit der semantischen Ähnlichkeit der gelernten Merkmalserklärungen korreliert. Wir fordern einen gemeinschaftlichen Wandel hin zur systematischen Messung der Merkmalskonsistenz, um einen robusten kumulativen Fortschritt in der MI zu fördern.

English

Sparse Autoencoders (SAEs) are a prominent tool in mechanistic interpretability (MI) for decomposing neural network activations into interpretable features. However, the aspiration to identify a canonical set of features is challenged by the observed inconsistency of learned SAE features across different training runs, undermining the reliability and efficiency of MI research. This position paper argues that mechanistic interpretability should prioritize feature consistency in SAEs -- the reliable convergence to equivalent feature sets across independent runs. We propose using the Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to operationalize consistency and demonstrate that high levels are achievable (0.80 for TopK SAEs on LLM activations) with appropriate architectural choices. Our contributions include detailing the benefits of prioritizing consistency; providing theoretical grounding and synthetic validation using a model organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery; and extending these findings to real-world LLM data, where high feature consistency strongly correlates with the semantic similarity of learned feature explanations. We call for a community-wide shift towards systematically measuring feature consistency to foster robust cumulative progress in MI.