HiKE: Framework Gerarchico di Valutazione per il Riconoscimento Vocale con Code-Switching Coreano-Inglese
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
September 29, 2025
Autori: Gio Paik, Yongbeom Kim, Soungmin Lee, Sangmin Ahn, Chanwoo Kim
cs.AI
Abstract
Nonostante i progressi nel riconoscimento automatico del parlato multilingue (ASR), il code-switching (CS), ovvero la mescolanza di lingue all'interno di un enunciato comune nel parlato quotidiano, rimane una sfida ampiamente inesplorata. In questo articolo, presentiamo HiKE: il benchmark gerarchico per il code-switching coreano-inglese, il primo framework di valutazione accessibile a livello globale per il CS coreano-inglese, con l'obiettivo di fornire un mezzo per la valutazione precisa dei modelli ASR multilingue e di promuovere la ricerca in questo campo. Il framework proposto non solo include dati CS di alta qualità e naturali su vari argomenti, ma fornisce anche etichette meticolose per i prestiti linguistici e uno schema di etichettatura gerarchico del CS (a livello di parola, frase e frase) che insieme consentono una valutazione sistematica della capacità di un modello di gestire ciascun livello distinto di code-switching. Attraverso valutazioni di vari modelli ASR multilingue e esperimenti di fine-tuning, questo articolo dimostra che, sebbene la maggior parte dei modelli ASR multilingue inizialmente abbia difficoltà con il CS-ASR, questa capacità può essere abilitata attraverso il fine-tuning con dati CS. HiKE sarà disponibile all'indirizzo https://github.com/ThetaOne-AI/HiKE.
English
Despite advances in multilingual automatic speech recognition (ASR),
code-switching (CS), the mixing of languages within an utterance common in
daily speech, remains a severely underexplored challenge. In this paper, we
introduce HiKE: the Hierarchical Korean-English code-switching benchmark, the
first globally accessible evaluation framework for Korean-English CS, aiming to
provide a means for the precise evaluation of multilingual ASR models and to
foster research in the field. The proposed framework not only consists of
high-quality, natural CS data across various topics, but also provides
meticulous loanword labels and a hierarchical CS-level labeling scheme (word,
phrase, and sentence) that together enable a systematic evaluation of a model's
ability to handle each distinct level of code-switching. Through evaluations of
diverse multilingual ASR models and fine-tuning experiments, this paper
demonstrates that while most multilingual ASR models initially struggle with
CS-ASR, this capability can be enabled through fine-tuning with CS data. HiKE
will be available at https://github.com/ThetaOne-AI/HiKE.