AudioSAE: 희소 오토인코더를 활용한 오디오 처리 모델 해석 연구

초록

희소 오토인코더(SAE)는 신경망 표현을 해석하는 강력한 도구이지만, 오디오 분야에서의 활용은 아직 충분히 연구되지 않았습니다. 우리는 Whisper와 HuBERT의 모든 인코더 레이어에 걸쳐 SAE를 학습시키고, 그 안정성과 해석 가능성에 대한 포괄적인 평가를 제공하며 실제 활용 가능성을 보여줍니다. 무작위 시드에 관계없이 50% 이상의 특징이 일관되게 유지되며 재구성 품질도 보존됩니다. SAE 특징은 일반적인 음향 및 의미 정보와 환경噪音, 발화 외 소리(예: 웃음, 속삭임) 같은 특정 사건들을 효과적으로 포착 및 분리하며, 특정 개념을 삭제하는 데 19-27%의 특징만 제거하면 됩니다. 특징 조정을 통해 Whisper의 오류 음성 감지를 70% 줄이면서 WER 증가는 미미하여 실제 적용 가능성을 입증했습니다. 마지막으로, SAE 특징이 음성 인식 중 인간의 뇌파(EEG) 활동과 상관관계를 보여 인간의 신경 처리 과정과 일치함을 확인했습니다. 코드와 체크포인트는 https://github.com/audiosae/audiosae_demo에서 이용할 수 있습니다.

English

Sparse Autoencoders (SAEs) are powerful tools for interpreting neural representations, yet their use in audio remains underexplored. We train SAEs across all encoder layers of Whisper and HuBERT, provide an extensive evaluation of their stability, interpretability, and show their practical utility. Over 50% of the features remain consistent across random seeds, and reconstruction quality is preserved. SAE features capture general acoustic and semantic information as well as specific events, including environmental noises and paralinguistic sounds (e.g. laughter, whispering) and disentangle them effectively, requiring removal of only 19-27% of features to erase a concept. Feature steering reduces Whisper's false speech detections by 70% with negligible WER increase, demonstrating real-world applicability. Finally, we find SAE features correlated with human EEG activity during speech perception, indicating alignment with human neural processing. The code and checkpoints are available at https://github.com/audiosae/audiosae_demo.

AudioSAE: 희소 오토인코더를 활용한 오디오 처리 모델 해석 연구

AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders

초록

Support