HiKE: Hiërarchisch Evaluatiekader voor Koreaans-Engels Code-Switching Spraakherkenning
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
September 29, 2025
Auteurs: Gio Paik, Yongbeom Kim, Soungmin Lee, Sangmin Ahn, Chanwoo Kim
cs.AI
Samenvatting
Ondanks vooruitgang in meertalige automatische spraakherkenning (ASR), blijft code-switching (CS), het mengen van talen binnen een uiting dat veel voorkomt in alledaagse spraak, een sterk onderbelichte uitdaging. In dit artikel introduceren we HiKE: de Hierarchical Korean-English code-switching benchmark, het eerste wereldwijd toegankelijke evaluatiekader voor Koreaans-Engels CS, met als doel een middel te bieden voor de nauwkeurige evaluatie van meertalige ASR-modellen en om onderzoek in dit veld te stimuleren. Het voorgestelde kader bestaat niet alleen uit hoogwaardige, natuurlijke CS-gegevens over diverse onderwerpen, maar biedt ook gedetailleerde labels voor leenwoorden en een hiërarchisch CS-labelingschema (woord, zinsdeel en zin) die samen een systematische evaluatie mogelijk maken van het vermogen van een model om elk afzonderlijk niveau van code-switching te verwerken. Door evaluaties van diverse meertalige ASR-modellen en fine-tuningexperimenten toont dit artikel aan dat, hoewel de meeste meertalige ASR-modellen aanvankelijk moeite hebben met CS-ASR, deze capaciteit kan worden geactiveerd door fine-tuning met CS-gegevens. HiKE zal beschikbaar zijn op https://github.com/ThetaOne-AI/HiKE.
English
Despite advances in multilingual automatic speech recognition (ASR),
code-switching (CS), the mixing of languages within an utterance common in
daily speech, remains a severely underexplored challenge. In this paper, we
introduce HiKE: the Hierarchical Korean-English code-switching benchmark, the
first globally accessible evaluation framework for Korean-English CS, aiming to
provide a means for the precise evaluation of multilingual ASR models and to
foster research in the field. The proposed framework not only consists of
high-quality, natural CS data across various topics, but also provides
meticulous loanword labels and a hierarchical CS-level labeling scheme (word,
phrase, and sentence) that together enable a systematic evaluation of a model's
ability to handle each distinct level of code-switching. Through evaluations of
diverse multilingual ASR models and fine-tuning experiments, this paper
demonstrates that while most multilingual ASR models initially struggle with
CS-ASR, this capability can be enabled through fine-tuning with CS data. HiKE
will be available at https://github.com/ThetaOne-AI/HiKE.