HiKE: Estrutura de Avaliação Hierárquica para Reconhecimento de Fala com Alternância de Código Coreano-Inglês
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
September 29, 2025
Autores: Gio Paik, Yongbeom Kim, Soungmin Lee, Sangmin Ahn, Chanwoo Kim
cs.AI
Resumo
Apesar dos avanços no reconhecimento automático de fala (ASR) multilíngue, o code-switching (CS), a mistura de idiomas dentro de uma mesma expressão comum na fala cotidiana, continua sendo um desafio severamente subexplorado. Neste artigo, apresentamos o HiKE: o benchmark Hierárquico de Code-Switching Coreano-Inglês, o primeiro framework de avaliação globalmente acessível para CS Coreano-Inglês, com o objetivo de fornecer um meio para a avaliação precisa de modelos de ASR multilíngue e de fomentar pesquisas na área. O framework proposto não apenas consiste em dados de CS naturais e de alta qualidade abrangendo diversos tópicos, mas também fornece etiquetas meticulosas de empréstimos linguísticos e um esquema hierárquico de rotulagem de níveis de CS (palavra, frase e sentença) que, juntos, permitem uma avaliação sistemática da capacidade de um modelo de lidar com cada nível distinto de code-switching. Por meio de avaliações de diversos modelos de ASR multilíngue e experimentos de fine-tuning, este artigo demonstra que, embora a maioria dos modelos de ASR multilíngue inicialmente tenha dificuldades com CS-ASR, essa capacidade pode ser habilitada através do fine-tuning com dados de CS. O HiKE estará disponível em https://github.com/ThetaOne-AI/HiKE.
English
Despite advances in multilingual automatic speech recognition (ASR),
code-switching (CS), the mixing of languages within an utterance common in
daily speech, remains a severely underexplored challenge. In this paper, we
introduce HiKE: the Hierarchical Korean-English code-switching benchmark, the
first globally accessible evaluation framework for Korean-English CS, aiming to
provide a means for the precise evaluation of multilingual ASR models and to
foster research in the field. The proposed framework not only consists of
high-quality, natural CS data across various topics, but also provides
meticulous loanword labels and a hierarchical CS-level labeling scheme (word,
phrase, and sentence) that together enable a systematic evaluation of a model's
ability to handle each distinct level of code-switching. Through evaluations of
diverse multilingual ASR models and fine-tuning experiments, this paper
demonstrates that while most multilingual ASR models initially struggle with
CS-ASR, this capability can be enabled through fine-tuning with CS data. HiKE
will be available at https://github.com/ThetaOne-AI/HiKE.