O Aprendizado em Contexto Melhora o Reconhecimento de Fala por meio de Adaptação Semelhante à Humana a Falantes e Variedades Linguísticas

In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties

May 20, 2025

Autores: Nathan Roll, Calbert Graham, Yuka Tatsumi, Kim Tien Nguyen, Meghan Sumner, Dan Jurafsky

cs.AI

Resumo

Ouvintes humanos se adaptam prontamente a falantes desconhecidos e variedades linguísticas através da exposição, mas esses benefícios de adaptação se estendem aos modelos de linguagem falada de última geração? Introduzimos uma estrutura escalável que permite o aprendizado em contexto (ICL) no Phi-4 Multimodal usando prompts de tarefas intercalados e pares áudio-texto, e descobrimos que apenas 12 exemplos de enunciados (~50 segundos) no momento da inferência reduzem as taxas de erro de palavras em 19,7% relativo (1,2 pp.) em média em diversos corpora de inglês. Essas melhorias são mais pronunciadas em variedades de baixo recurso, quando o contexto e o falante alvo coincidem, e quando mais exemplos são fornecidos—embora a escalabilidade do nosso procedimento resulte em retornos marginais decrescentes em relação ao comprimento do contexto. No geral, descobrimos que nosso novo esquema de adaptação ICL (1) revela um perfil de desempenho semelhante ao dos ouvintes humanos e (2) demonstra melhorias consistentes na robustez do reconhecimento automático de fala (ASR) em diversos falantes e contextos linguísticos. Embora a adaptação tenha sucesso de forma ampla, lacunas significativas permanecem para certas variedades, revelando onde os modelos atuais ainda não alcançam a flexibilidade humana. Disponibilizamos nossos prompts e código no GitHub.

English

Human listeners readily adjust to unfamiliar speakers and language varieties through exposure, but do these adaptation benefits extend to state-of-the-art spoken language models? We introduce a scalable framework that allows for in-context learning (ICL) in Phi-4 Multimodal using interleaved task prompts and audio-text pairs, and find that as few as 12 example utterances (~50 seconds) at inference time reduce word error rates by a relative 19.7% (1.2 pp.) on average across diverse English corpora. These improvements are most pronounced in low-resource varieties, when the context and target speaker match, and when more examples are provided--though scaling our procedure yields diminishing marginal returns to context length. Overall, we find that our novel ICL adaptation scheme (1) reveals a similar performance profile to human listeners, and (2) demonstrates consistent improvements to automatic speech recognition (ASR) robustness across diverse speakers and language backgrounds. While adaptation succeeds broadly, significant gaps remain for certain varieties, revealing where current models still fall short of human flexibility. We release our prompts and code on GitHub.