Oltre la trascrizione: interpretabilità meccanicistica nei sistemi di riconoscimento vocale automatico

Beyond Transcription: Mechanistic Interpretability in ASR

August 21, 2025

Autori: Neta Glazer, Yael Segal-Feldman, Hilit Segev, Aviv Shamsian, Asaf Buchnick, Gill Hetz, Ethan Fetaya, Joseph Keshet, Aviv Navon

cs.AI

Abstract

I metodi di interpretabilità hanno recentemente attirato un'attenzione significativa, in particolare nel contesto dei grandi modelli linguistici, consentendo di ottenere approfondimenti sulle rappresentazioni linguistiche, il rilevamento degli errori e i comportamenti del modello come allucinazioni e ripetizioni. Tuttavia, queste tecniche rimangono poco esplorate nel campo del riconoscimento automatico del parlato (ASR), nonostante il loro potenziale per migliorare sia le prestazioni che l'interpretabilità dei sistemi ASR. In questo lavoro, adattiamo e applichiamo sistematicamente metodi di interpretabilità consolidati come il logit lens, il linear probing e l'activation patching, per esaminare come le informazioni acustiche e semantiche si evolvono attraverso i livelli nei sistemi ASR. I nostri esperimenti rivelano dinamiche interne precedentemente sconosciute, tra cui specifiche interazioni encoder-decoder responsabili delle allucinazioni da ripetizione e dei bias semantici codificati in profondità all'interno delle rappresentazioni acustiche. Questi approfondimenti dimostrano i vantaggi di estendere e applicare tecniche di interpretabilità al riconoscimento vocale, aprendo promettenti direzioni per future ricerche sul miglioramento della trasparenza e della robustezza dei modelli.

English

Interpretability methods have recently gained significant attention, particularly in the context of large language models, enabling insights into linguistic representations, error detection, and model behaviors such as hallucinations and repetitions. However, these techniques remain underexplored in automatic speech recognition (ASR), despite their potential to advance both the performance and interpretability of ASR systems. In this work, we adapt and systematically apply established interpretability methods such as logit lens, linear probing, and activation patching, to examine how acoustic and semantic information evolves across layers in ASR systems. Our experiments reveal previously unknown internal dynamics, including specific encoder-decoder interactions responsible for repetition hallucinations and semantic biases encoded deep within acoustic representations. These insights demonstrate the benefits of extending and applying interpretability techniques to speech recognition, opening promising directions for future research on improving model transparency and robustness.