El Aprendizaje en Contexto Potencia el Reconocimiento del Habla mediante la Adaptación Similar a la Humana a Hablantes y Variedades Lingüísticas

In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties

May 20, 2025

Autores: Nathan Roll, Calbert Graham, Yuka Tatsumi, Kim Tien Nguyen, Meghan Sumner, Dan Jurafsky

cs.AI

Resumen

Los oyentes humanos se adaptan fácilmente a hablantes desconocidos y variedades lingüísticas a través de la exposición, pero ¿se extienden estos beneficios de adaptación a los modelos de lenguaje hablado más avanzados? Introducimos un marco escalable que permite el aprendizaje en contexto (ICL, por sus siglas en inglés) en Phi-4 Multimodal utilizando indicaciones de tareas intercaladas y pares de audio-texto, y encontramos que tan solo 12 ejemplos de enunciados (~50 segundos) en tiempo de inferencia reducen las tasas de error de palabras en un 19.7% relativo (1.2 pp.) en promedio en diversos corpus de inglés. Estas mejoras son más pronunciadas en variedades de bajos recursos, cuando el contexto y el hablante objetivo coinciden, y cuando se proporcionan más ejemplos, aunque escalar nuestro procedimiento produce rendimientos marginales decrecientes en relación con la longitud del contexto. En general, encontramos que nuestro novedoso esquema de adaptación ICL (1) revela un perfil de rendimiento similar al de los oyentes humanos y (2) demuestra mejoras consistentes en la robustez del reconocimiento automático del habla (ASR, por sus siglas en inglés) en diversos hablantes y antecedentes lingüísticos. Aunque la adaptación tiene éxito en general, persisten brechas significativas para ciertas variedades, lo que revela dónde los modelos actuales aún no alcanzan la flexibilidad humana. Publicamos nuestras indicaciones y código en GitHub.

English

Human listeners readily adjust to unfamiliar speakers and language varieties through exposure, but do these adaptation benefits extend to state-of-the-art spoken language models? We introduce a scalable framework that allows for in-context learning (ICL) in Phi-4 Multimodal using interleaved task prompts and audio-text pairs, and find that as few as 12 example utterances (~50 seconds) at inference time reduce word error rates by a relative 19.7% (1.2 pp.) on average across diverse English corpora. These improvements are most pronounced in low-resource varieties, when the context and target speaker match, and when more examples are provided--though scaling our procedure yields diminishing marginal returns to context length. Overall, we find that our novel ICL adaptation scheme (1) reveals a similar performance profile to human listeners, and (2) demonstrates consistent improvements to automatic speech recognition (ASR) robustness across diverse speakers and language backgrounds. While adaptation succeeds broadly, significant gaps remain for certain varieties, revealing where current models still fall short of human flexibility. We release our prompts and code on GitHub.