L'Apprendimento in Contesto Potenzia il Riconoscimento Vocale Attraverso un Adattamento Umano ai Parlanti e alle Varietà Linguistiche

In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties

May 20, 2025

Autori: Nathan Roll, Calbert Graham, Yuka Tatsumi, Kim Tien Nguyen, Meghan Sumner, Dan Jurafsky

cs.AI

Abstract

Gli ascoltatori umani si adattano facilmente a parlanti non familiari e varietà linguistiche attraverso l'esposizione, ma questi benefici di adattamento si estendono ai modelli di linguaggio parlato all'avanguardia? Introduciamo un framework scalabile che consente l'apprendimento in contesto (ICL) in Phi-4 Multimodal utilizzando prompt di task intervallati e coppie audio-testo, e scopriamo che anche solo 12 esempi di enunciati (~50 secondi) al momento dell'inferenza riducono i tassi di errore sulle parole di un relativo 19,7% (1,2 pp.) in media su diversi corpora inglesi. Questi miglioramenti sono più evidenti nelle varietà a bassa risorsa, quando il contesto e il parlante target coincidono, e quando vengono forniti più esempi—sebbene il ridimensionamento della nostra procedura produca rendimenti marginali decrescenti rispetto alla lunghezza del contesto. Nel complesso, scopriamo che il nostro nuovo schema di adattamento ICL (1) rivela un profilo di prestazioni simile a quello degli ascoltatori umani e (2) dimostra miglioramenti consistenti nella robustezza del riconoscimento automatico del parlato (ASR) tra parlanti e background linguistici diversi. Sebbene l'adattamento abbia successo in generale, permangono lacune significative per alcune varietà, rivelando dove i modelli attuali sono ancora inferiori alla flessibilità umana. Rilasciamo i nostri prompt e il codice su GitHub.

English

Human listeners readily adjust to unfamiliar speakers and language varieties through exposure, but do these adaptation benefits extend to state-of-the-art spoken language models? We introduce a scalable framework that allows for in-context learning (ICL) in Phi-4 Multimodal using interleaved task prompts and audio-text pairs, and find that as few as 12 example utterances (~50 seconds) at inference time reduce word error rates by a relative 19.7% (1.2 pp.) on average across diverse English corpora. These improvements are most pronounced in low-resource varieties, when the context and target speaker match, and when more examples are provided--though scaling our procedure yields diminishing marginal returns to context length. Overall, we find that our novel ICL adaptation scheme (1) reveals a similar performance profile to human listeners, and (2) demonstrates consistent improvements to automatic speech recognition (ASR) robustness across diverse speakers and language backgrounds. While adaptation succeeds broadly, significant gaps remain for certain varieties, revealing where current models still fall short of human flexibility. We release our prompts and code on GitHub.