Позиция: Механистическая интерпретируемость должна уделять приоритетное внимание согласованности признаков в разреженных автоэнкодерах (SAE).

Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs

May 26, 2025

Авторы: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang

cs.AI

Аннотация

Разреженные автокодировщики (SAE) являются важным инструментом в механистической интерпретируемости (MI) для декомпозиции активаций нейронных сетей на интерпретируемые признаки. Однако стремление к идентификации канонического набора признаков сталкивается с проблемой несоответствия признаков, извлеченных SAE, в различных запусках обучения, что подрывает надежность и эффективность исследований в области MI. В данной позиционной статье утверждается, что механистическая интерпретируемость должна уделять приоритетное внимание согласованности признаков в SAE — надежной сходимости к эквивалентным наборам признаков в независимых запусках. Мы предлагаем использовать коэффициент попарной корреляции средних значений словаря (PW-MCC) в качестве практической метрики для оценки согласованности и демонстрируем, что высокие уровни согласованности (0.80 для TopK SAE на активациях LLM) достижимы при правильном выборе архитектуры. Наши вклад включает описание преимуществ приоритизации согласованности; теоретическое обоснование и синтетическую валидацию с использованием модельного организма, которая подтверждает PW-MCC как надежный прокси для восстановления истинных значений; а также применение этих результатов к реальным данным LLM, где высокая согласованность признаков сильно коррелирует с семантическим сходством объяснений извлеченных признаков. Мы призываем к общественному сдвигу в сторону систематического измерения согласованности признаков для обеспечения устойчивого кумулятивного прогресса в MI.

English

Sparse Autoencoders (SAEs) are a prominent tool in mechanistic interpretability (MI) for decomposing neural network activations into interpretable features. However, the aspiration to identify a canonical set of features is challenged by the observed inconsistency of learned SAE features across different training runs, undermining the reliability and efficiency of MI research. This position paper argues that mechanistic interpretability should prioritize feature consistency in SAEs -- the reliable convergence to equivalent feature sets across independent runs. We propose using the Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to operationalize consistency and demonstrate that high levels are achievable (0.80 for TopK SAEs on LLM activations) with appropriate architectural choices. Our contributions include detailing the benefits of prioritizing consistency; providing theoretical grounding and synthetic validation using a model organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery; and extending these findings to real-world LLM data, where high feature consistency strongly correlates with the semantic similarity of learned feature explanations. We call for a community-wide shift towards systematically measuring feature consistency to foster robust cumulative progress in MI.