AudioSAE: Hacia la Comprensión de Modelos de Procesamiento de Audio con Autoencoders Dispersos
AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders
February 4, 2026
Autores: Georgii Aparin, Tasnima Sadekova, Alexey Rukhovich, Assel Yermekova, Laida Kushnareva, Vadim Popov, Kristian Kuznetsov, Irina Piontkovskaya
cs.AI
Resumen
Los Autoencoders Dispersos (SAE) son herramientas poderosas para interpretar representaciones neuronales, aunque su uso en audio sigue estando poco explorado. Entrenamos SAE en todas las capas del codificador de Whisper y HuBERT, realizamos una evaluación exhaustiva de su estabilidad e interpretabilidad, y demostramos su utilidad práctica. Más del 50% de las características se mantienen consistentes entre diferentes semillas aleatorias, y se preserva la calidad de la reconstrucción. Las características del SAE capturan información acústica y semántica general, así como eventos específicos, incluyendo ruidos ambientales y sonidos paralingüísticos (por ejemplo, risas, susurros), y los desentrañan eficazmente, requiriendo la eliminación de solo el 19-27% de las características para borrar un concepto. La dirección de características reduce las detecciones de habla falsa de Whisper en un 70% con un aumento negligible del WER, lo que demuestra su aplicabilidad en el mundo real. Finalmente, encontramos que las características del SAE se correlacionan con la actividad EEG humana durante la percepción del habla, lo que indica una alineación con el procesamiento neuronal humano. El código y los puntos de control están disponibles en https://github.com/audiosae/audiosae_demo.
English
Sparse Autoencoders (SAEs) are powerful tools for interpreting neural representations, yet their use in audio remains underexplored. We train SAEs across all encoder layers of Whisper and HuBERT, provide an extensive evaluation of their stability, interpretability, and show their practical utility. Over 50% of the features remain consistent across random seeds, and reconstruction quality is preserved. SAE features capture general acoustic and semantic information as well as specific events, including environmental noises and paralinguistic sounds (e.g. laughter, whispering) and disentangle them effectively, requiring removal of only 19-27% of features to erase a concept. Feature steering reduces Whisper's false speech detections by 70% with negligible WER increase, demonstrating real-world applicability. Finally, we find SAE features correlated with human EEG activity during speech perception, indicating alignment with human neural processing. The code and checkpoints are available at https://github.com/audiosae/audiosae_demo.