HiKE: Иерархическая система оценки для распознавания речи с код-свитчингом между корейским и английским языками
HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
September 29, 2025
Авторы: Gio Paik, Yongbeom Kim, Soungmin Lee, Sangmin Ahn, Chanwoo Kim
cs.AI
Аннотация
Несмотря на прогресс в области многоязычного автоматического распознавания речи (ASR), код-свитчинг (CS) — смешение языков в пределах одного высказывания, характерное для повседневной речи, — остается серьезной и малоизученной проблемой. В данной статье мы представляем HiKE: иерархический бенчмарк для корейско-английского код-свитчинга, первый глобально доступный фреймворк для оценки корейско-английского CS, цель которого — предоставить инструмент для точной оценки многоязычных моделей ASR и стимулировать исследования в этой области. Предложенный фреймворк включает не только высококачественные, естественные данные CS по различным темам, но также тщательно размеченные заимствования и иерархическую схему маркировки уровней CS (слово, фраза, предложение), что позволяет систематически оценивать способность модели справляться с каждым уровнем код-свитчинга. Благодаря оценке различных многоязычных моделей ASR и экспериментам с тонкой настройкой, в статье показано, что хотя большинство многоязычных моделей ASR изначально испытывают трудности с CS-ASR, эту способность можно развить путем тонкой настройки на данных CS. HiKE будет доступен по адресу https://github.com/ThetaOne-AI/HiKE.
English
Despite advances in multilingual automatic speech recognition (ASR),
code-switching (CS), the mixing of languages within an utterance common in
daily speech, remains a severely underexplored challenge. In this paper, we
introduce HiKE: the Hierarchical Korean-English code-switching benchmark, the
first globally accessible evaluation framework for Korean-English CS, aiming to
provide a means for the precise evaluation of multilingual ASR models and to
foster research in the field. The proposed framework not only consists of
high-quality, natural CS data across various topics, but also provides
meticulous loanword labels and a hierarchical CS-level labeling scheme (word,
phrase, and sentence) that together enable a systematic evaluation of a model's
ability to handle each distinct level of code-switching. Through evaluations of
diverse multilingual ASR models and fine-tuning experiments, this paper
demonstrates that while most multilingual ASR models initially struggle with
CS-ASR, this capability can be enabled through fine-tuning with CS data. HiKE
will be available at https://github.com/ThetaOne-AI/HiKE.