Além da Transcrição: Interpretabilidade Mecanicista em ASR

Beyond Transcription: Mechanistic Interpretability in ASR

August 21, 2025

Autores: Neta Glazer, Yael Segal-Feldman, Hilit Segev, Aviv Shamsian, Asaf Buchnick, Gill Hetz, Ethan Fetaya, Joseph Keshet, Aviv Navon

cs.AI

Resumo

Métodos de interpretabilidade têm ganhado atenção significativa recentemente, especialmente no contexto de grandes modelos de linguagem, permitindo insights sobre representações linguísticas, detecção de erros e comportamentos do modelo, como alucinações e repetições. No entanto, essas técnicas ainda são pouco exploradas no reconhecimento automático de fala (ASR), apesar de seu potencial para avançar tanto o desempenho quanto a interpretabilidade dos sistemas ASR. Neste trabalho, adaptamos e aplicamos sistematicamente métodos de interpretabilidade estabelecidos, como o logit lens, sondagem linear e patching de ativação, para examinar como a informação acústica e semântica evolui através das camadas em sistemas ASR. Nossos experimentos revelam dinâmicas internas previamente desconhecidas, incluindo interações específicas entre codificador e decodificador responsáveis por alucinações de repetição e vieses semânticos codificados profundamente dentro das representações acústicas. Esses insights demonstram os benefícios de estender e aplicar técnicas de interpretabilidade ao reconhecimento de fala, abrindo direções promissoras para pesquisas futuras sobre a melhoria da transparência e robustez dos modelos.

English

Interpretability methods have recently gained significant attention, particularly in the context of large language models, enabling insights into linguistic representations, error detection, and model behaviors such as hallucinations and repetitions. However, these techniques remain underexplored in automatic speech recognition (ASR), despite their potential to advance both the performance and interpretability of ASR systems. In this work, we adapt and systematically apply established interpretability methods such as logit lens, linear probing, and activation patching, to examine how acoustic and semantic information evolves across layers in ASR systems. Our experiments reveal previously unknown internal dynamics, including specific encoder-decoder interactions responsible for repetition hallucinations and semantic biases encoded deep within acoustic representations. These insights demonstrate the benefits of extending and applying interpretability techniques to speech recognition, opening promising directions for future research on improving model transparency and robustness.