Обучение в контексте улучшает распознавание речи за счет адаптации, подобной человеческой, к говорящим и языковым разновидностям

In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties

May 20, 2025

Авторы: Nathan Roll, Calbert Graham, Yuka Tatsumi, Kim Tien Nguyen, Meghan Sumner, Dan Jurafsky

cs.AI

Аннотация

Человеческие слушатели легко адаптируются к незнакомым говорящим и языковым разновидностям через воздействие, но распространяются ли эти преимущества адаптации на современные модели обработки устной речи? Мы представляем масштабируемую структуру, которая позволяет осуществлять обучение в контексте (ICL) в модели Phi-4 Multimodal с использованием чередующихся задач и пар "аудио-текст", и обнаруживаем, что всего 12 примеров высказываний (~50 секунд) во время вывода снижают частоту ошибок на слова в среднем на 19,7% (1,2 п.п.) в различных корпусах английского языка. Эти улучшения наиболее заметны в малоресурсных разновидностях, когда контекст и целевой говорящий совпадают, и когда предоставляется больше примеров — хотя масштабирование нашей процедуры приводит к уменьшению предельной отдачи от длины контекста. В целом, мы обнаруживаем, что наша новая схема адаптации ICL (1) демонстрирует схожий профиль производительности с человеческими слушателями и (2) обеспечивает последовательные улучшения устойчивости автоматического распознавания речи (ASR) для различных говорящих и языковых фонов. Хотя адаптация в целом успешна, значительные пробелы остаются для определенных разновидностей, что указывает на области, где текущие модели все еще уступают человеческой гибкости. Мы публикуем наши промпты и код на GitHub.

English

Human listeners readily adjust to unfamiliar speakers and language varieties through exposure, but do these adaptation benefits extend to state-of-the-art spoken language models? We introduce a scalable framework that allows for in-context learning (ICL) in Phi-4 Multimodal using interleaved task prompts and audio-text pairs, and find that as few as 12 example utterances (~50 seconds) at inference time reduce word error rates by a relative 19.7% (1.2 pp.) on average across diverse English corpora. These improvements are most pronounced in low-resource varieties, when the context and target speaker match, and when more examples are provided--though scaling our procedure yields diminishing marginal returns to context length. Overall, we find that our novel ICL adaptation scheme (1) reveals a similar performance profile to human listeners, and (2) demonstrates consistent improvements to automatic speech recognition (ASR) robustness across diverse speakers and language backgrounds. While adaptation succeeds broadly, significant gaps remain for certain varieties, revealing where current models still fall short of human flexibility. We release our prompts and code on GitHub.