Posizione: L'interpretabilità meccanicistica dovrebbe dare priorità alla coerenza delle feature nelle SAE

Position: Mechanistic Interpretability Should Prioritize Feature Consistency in SAEs

May 26, 2025

Autori: Xiangchen Song, Aashiq Muhamed, Yujia Zheng, Lingjing Kong, Zeyu Tang, Mona T. Diab, Virginia Smith, Kun Zhang

cs.AI

Abstract

Gli Autoencoder Sparse (SAE) sono uno strumento prominente nell'interpretabilità meccanicistica (MI) per scomporre le attivazioni delle reti neurali in caratteristiche interpretabili. Tuttavia, l'aspirazione di identificare un insieme canonico di caratteristiche è messa in discussione dall'inconsistenza osservata delle caratteristiche apprese dagli SAE in diverse esecuzioni di addestramento, minando l'affidabilità e l'efficienza della ricerca in MI. Questo position paper sostiene che l'interpretabilità meccanicistica dovrebbe dare priorità alla consistenza delle caratteristiche negli SAE — la convergenza affidabile verso insiemi di caratteristiche equivalenti in esecuzioni indipendenti. Proponiamo di utilizzare il Coefficiente di Correlazione Media Pairwise dei Dizionari (PW-MCC) come metrica pratica per operazionalizzare la consistenza e dimostriamo che è possibile raggiungere livelli elevati (0,80 per TopK SAE sulle attivazioni di LLM) con scelte architetturali appropriate. I nostri contributi includono: dettagliare i vantaggi di dare priorità alla consistenza; fornire un fondamento teorico e una validazione sintetica utilizzando un organismo modello, che verifica il PW-MCC come un proxy affidabile per il recupero della verità di base; e estendere questi risultati a dati reali di LLM, dove un'elevata consistenza delle caratteristiche è fortemente correlata con la similarità semantica delle spiegazioni delle caratteristiche apprese. Invitiamo a un cambiamento a livello di comunità verso la misurazione sistematica della consistenza delle caratteristiche per favorire un progresso cumulativo robusto in MI.

English

Sparse Autoencoders (SAEs) are a prominent tool in mechanistic interpretability (MI) for decomposing neural network activations into interpretable features. However, the aspiration to identify a canonical set of features is challenged by the observed inconsistency of learned SAE features across different training runs, undermining the reliability and efficiency of MI research. This position paper argues that mechanistic interpretability should prioritize feature consistency in SAEs -- the reliable convergence to equivalent feature sets across independent runs. We propose using the Pairwise Dictionary Mean Correlation Coefficient (PW-MCC) as a practical metric to operationalize consistency and demonstrate that high levels are achievable (0.80 for TopK SAEs on LLM activations) with appropriate architectural choices. Our contributions include detailing the benefits of prioritizing consistency; providing theoretical grounding and synthetic validation using a model organism, which verifies PW-MCC as a reliable proxy for ground-truth recovery; and extending these findings to real-world LLM data, where high feature consistency strongly correlates with the semantic similarity of learned feature explanations. We call for a community-wide shift towards systematically measuring feature consistency to foster robust cumulative progress in MI.