In-Context-Learning verbessert die Spracherkennung durch menschenähnliche Anpassung an Sprecher und Sprachvarianten

In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties

May 20, 2025

Autoren: Nathan Roll, Calbert Graham, Yuka Tatsumi, Kim Tien Nguyen, Meghan Sumner, Dan Jurafsky

cs.AI

Zusammenfassung

Menschliche Zuhörer passen sich problemlos an unbekannte Sprecher und Sprachvarianten durch Exposition an, aber erstrecken sich diese Anpassungsvorteile auch auf modernste gesprochene Sprachmodelle? Wir stellen ein skalierbares Framework vor, das In-Context-Learning (ICL) in Phi-4 Multimodal durch verschachtelte Aufgabenprompts und Audio-Text-Paare ermöglicht, und finden heraus, dass bereits 12 Beispieläußerungen (~50 Sekunden) zur Inferenzzeit die Wortfehlerraten im Durchschnitt über diverse englische Korpora um relative 19,7 % (1,2 Prozentpunkte) reduzieren. Diese Verbesserungen sind am deutlichsten bei ressourcenarmen Varianten, wenn der Kontext und der Zielsprecher übereinstimmen, und wenn mehr Beispiele bereitgestellt werden – obwohl die Skalierung unseres Verfahrens abnehmende Grenzerträge in Bezug auf die Kontextlänge zeigt. Insgesamt stellen wir fest, dass unser neuartiges ICL-Anpassungsschema (1) ein ähnliches Leistungsprofil wie menschliche Zuhörer aufweist und (2) konsistente Verbesserungen der Robustheit der automatischen Spracherkennung (ASR) über diverse Sprecher und Sprachhintergründe hinweg demonstriert. Während die Anpassung im Großen und Ganzen erfolgreich ist, bleiben für bestimmte Varianten signifikante Lücken bestehen, die zeigen, wo aktuelle Modelle noch hinter der menschlichen Flexibilität zurückbleiben. Wir veröffentlichen unsere Prompts und den Code auf GitHub.

English

Human listeners readily adjust to unfamiliar speakers and language varieties through exposure, but do these adaptation benefits extend to state-of-the-art spoken language models? We introduce a scalable framework that allows for in-context learning (ICL) in Phi-4 Multimodal using interleaved task prompts and audio-text pairs, and find that as few as 12 example utterances (~50 seconds) at inference time reduce word error rates by a relative 19.7% (1.2 pp.) on average across diverse English corpora. These improvements are most pronounced in low-resource varieties, when the context and target speaker match, and when more examples are provided--though scaling our procedure yields diminishing marginal returns to context length. Overall, we find that our novel ICL adaptation scheme (1) reveals a similar performance profile to human listeners, and (2) demonstrates consistent improvements to automatic speech recognition (ASR) robustness across diverse speakers and language backgrounds. While adaptation succeeds broadly, significant gaps remain for certain varieties, revealing where current models still fall short of human flexibility. We release our prompts and code on GitHub.