HiKE: Hierarchisches Bewertungsframework für die koreanisch-englische Code-Switching-Spracherkennung
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
September 29, 2025
papers.authors: Gio Paik, Yongbeom Kim, Soungmin Lee, Sangmin Ahn, Chanwoo Kim
cs.AI
papers.abstract
Trotz Fortschritten in der mehrsprachigen automatischen Spracherkennung (ASR) bleibt Code-Switching (CS), das Vermischen von Sprachen innerhalb einer Äußerung, das im Alltag häufig vorkommt, eine stark vernachlässigte Herausforderung. In diesem Artikel stellen wir HiKE vor: den hierarchischen Koreanisch-Englisch Code-Switching-Benchmark, den ersten global zugänglichen Bewertungsrahmen für Koreanisch-Englisch CS, der darauf abzielt, eine Methode zur präzisen Bewertung mehrsprachiger ASR-Modelle bereitzustellen und die Forschung in diesem Bereich zu fördern. Der vorgeschlagene Rahmen besteht nicht nur aus hochwertigen, natürlichen CS-Daten zu verschiedenen Themen, sondern bietet auch detaillierte Lehnwort-Labels und ein hierarchisches CS-Ebenen-Labeling-Schema (Wort, Phrase und Satz), die zusammen eine systematische Bewertung der Fähigkeit eines Modells ermöglichen, jede einzelne Ebene des Code-Switchings zu bewältigen. Durch die Bewertung verschiedener mehrsprachiger ASR-Modelle und Feinabstimmungsexperimente zeigt dieser Artikel, dass die meisten mehrsprachigen ASR-Modelle zwar zunächst mit CS-ASR zu kämpfen haben, diese Fähigkeit jedoch durch Feinabstimmung mit CS-Daten aktiviert werden kann. HiKE wird unter https://github.com/ThetaOne-AI/HiKE verfügbar sein.
English
Despite advances in multilingual automatic speech recognition (ASR),
code-switching (CS), the mixing of languages within an utterance common in
daily speech, remains a severely underexplored challenge. In this paper, we
introduce HiKE: the Hierarchical Korean-English code-switching benchmark, the
first globally accessible evaluation framework for Korean-English CS, aiming to
provide a means for the precise evaluation of multilingual ASR models and to
foster research in the field. The proposed framework not only consists of
high-quality, natural CS data across various topics, but also provides
meticulous loanword labels and a hierarchical CS-level labeling scheme (word,
phrase, and sentence) that together enable a systematic evaluation of a model's
ability to handle each distinct level of code-switching. Through evaluations of
diverse multilingual ASR models and fine-tuning experiments, this paper
demonstrates that while most multilingual ASR models initially struggle with
CS-ASR, this capability can be enabled through fine-tuning with CS data. HiKE
will be available at https://github.com/ThetaOne-AI/HiKE.