Jenseits der Transkription: Mechanistische Interpretierbarkeit in der automatischen Spracherkennung

Beyond Transcription: Mechanistic Interpretability in ASR

August 21, 2025

papers.authors: Neta Glazer, Yael Segal-Feldman, Hilit Segev, Aviv Shamsian, Asaf Buchnick, Gill Hetz, Ethan Fetaya, Joseph Keshet, Aviv Navon

cs.AI

papers.abstract

Interpretierbarkeitsmethoden haben in letzter Zeit erhebliche Aufmerksamkeit erlangt, insbesondere im Kontext großer Sprachmodelle, da sie Einblicke in linguistische Repräsentationen, Fehlererkennung und Modellverhalten wie Halluzinationen und Wiederholungen ermöglichen. Diese Techniken bleiben jedoch in der automatischen Spracherkennung (ASR) weitgehend unerforscht, obwohl sie das Potenzial haben, sowohl die Leistung als auch die Interpretierbarkeit von ASR-Systemen voranzutreiben. In dieser Arbeit passen wir etablierte Interpretierbarkeitsmethoden wie Logit-Lens, lineares Sondieren und Aktivierungspatching systematisch an und wenden sie an, um zu untersuchen, wie sich akustische und semantische Informationen über die Schichten in ASR-Systemen entwickeln. Unsere Experimente enthüllen bisher unbekannte interne Dynamiken, einschließlich spezifischer Encoder-Decoder-Interaktionen, die für Wiederholungshalluzinationen verantwortlich sind, und semantischer Verzerrungen, die tief in den akustischen Repräsentationen kodiert sind. Diese Erkenntnisse demonstrieren die Vorteile der Erweiterung und Anwendung von Interpretierbarkeitstechniken auf die Spracherkennung und eröffnen vielversprechende Richtungen für zukünftige Forschung zur Verbesserung der Transparenz und Robustheit von Modellen.

English

Interpretability methods have recently gained significant attention, particularly in the context of large language models, enabling insights into linguistic representations, error detection, and model behaviors such as hallucinations and repetitions. However, these techniques remain underexplored in automatic speech recognition (ASR), despite their potential to advance both the performance and interpretability of ASR systems. In this work, we adapt and systematically apply established interpretability methods such as logit lens, linear probing, and activation patching, to examine how acoustic and semantic information evolves across layers in ASR systems. Our experiments reveal previously unknown internal dynamics, including specific encoder-decoder interactions responsible for repetition hallucinations and semantic biases encoded deep within acoustic representations. These insights demonstrate the benefits of extending and applying interpretability techniques to speech recognition, opening promising directions for future research on improving model transparency and robustness.