AudioSAE : Vers une compréhension des modèles de traitement audio par AutoEncodeurs Sparse

AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders

February 4, 2026

Auteurs: Georgii Aparin, Tasnima Sadekova, Alexey Rukhovich, Assel Yermekova, Laida Kushnareva, Vadim Popov, Kristian Kuznetsov, Irina Piontkovskaya

cs.AI

Résumé

Les autoencodeurs épars (SAE) sont des outils puissants pour interpréter les représentations neuronales, mais leur utilisation dans le domaine audio reste peu explorée. Nous entraînons des SAE sur toutes les couches encodeurs de Whisper et HuBERT, fournissons une évaluation approfondie de leur stabilité et interprétabilité, et démontrons leur utilité pratique. Plus de 50 % des caractéristiques restent cohérentes entre différentes initialisations aléatoires, et la qualité de la reconstruction est préservée. Les caractéristiques des SAE capturent à la fois des informations acoustiques et sémantiques générales ainsi que des événements spécifiques, incluant les bruits environnementaux et les sons paralangagiers (par exemple, les rires, les chuchotements), et les désentremêlent efficacement, ne nécessitant l'élimination que de 19 à 27 % des caractéristiques pour effacer un concept. Le guidage par caractéristiques réduit de 70 % les détections erronées de parole par Whisper avec une augmentation négligeable du taux d'erreur de mots, démontrant une applicabilité concrète. Enfin, nous constatons que les caractéristiques des SAE sont corrélées avec l'activité EEG humaine pendant la perception de la parole, indiquant un alignement avec le traitement neuronal humain. Le code et les points de contrôle sont disponibles à l'adresse https://github.com/audiosae/audiosae_demo.

English

Sparse Autoencoders (SAEs) are powerful tools for interpreting neural representations, yet their use in audio remains underexplored. We train SAEs across all encoder layers of Whisper and HuBERT, provide an extensive evaluation of their stability, interpretability, and show their practical utility. Over 50% of the features remain consistent across random seeds, and reconstruction quality is preserved. SAE features capture general acoustic and semantic information as well as specific events, including environmental noises and paralinguistic sounds (e.g. laughter, whispering) and disentangle them effectively, requiring removal of only 19-27% of features to erase a concept. Feature steering reduces Whisper's false speech detections by 70% with negligible WER increase, demonstrating real-world applicability. Finally, we find SAE features correlated with human EEG activity during speech perception, indicating alignment with human neural processing. The code and checkpoints are available at https://github.com/audiosae/audiosae_demo.