Болбош: Сценарно-осознанное согласование потоков для кашмирского преобразования текста в речь

Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech

March 8, 2026

Авторы: Tajamul Ashraf, Burhaan Rasheed Zargar, Saeed Abdul Muizz, Ifrah Mushtaq, Nazima Mehdi, Iqra Altaf Gillani, Aadil Amin Kak, Janibul Bashir

cs.AI

Аннотация

Кашмири является родным языком для примерно 7 миллионов человек, но остается критически недостаточно обеспеченным речевыми технологиями, несмотря на его официальный статус и богатое лингвистическое наследие. Отсутствие надежных систем синтеза речи (Text-to-Speech, TTS) ограничивает цифровую доступность и инклюзивное человеко-компьютерное взаимодействие для носителей языка. В данной работе мы представляем первую специализированную открытую нейросетевую TTS-систему, разработанную для кашмири. Мы показываем, что многоязычные базовые модели, обученные по принципу zero-shot для индийских языков, не способны генерировать разборчивую речь, достигая средней оценки мнения (Mean Opinion Score, MOS) всего 1.86, что в значительной степени связано с неадекватным моделированием персо-арабских диакритических знаков и специфической фонологической структуры языка. Для преодоления этих ограничений мы предлагаем Bolbosh — стратегию контролируемой кросс-лингвальной адаптации на основе условного согласования потоков с оптимальным транспортом (Optimal Transport Conditional Flow Matching, OT-CFM) в рамках фреймворка Matcha-TTS. Это позволяет достичь стабильного выравнивания при ограниченном объеме размеченных данных. Дополнительно мы вводим трехэтапный конвейер акустического улучшения, состоящий из удаления реверберации, обрезки пауз и нормализации громкости, для унификации разнородных источников речи и стабилизации обучения выравниванию. Словарь модели расширен для явного кодирования графем кашмири с сохранением тонких различий между гласными. Наша система достигает MOS 3.63 и Mel-кестрального искажения (Mel-Cepstral Distortion, MCD) 3.73, существенно превосходя многоязычные базовые модели и устанавливая новый эталон для синтеза кашмирской речи. Наши результаты демонстрируют, что адаптация с учетом письменности и на основе контролируемых потоков критически важна для TTS в условиях ограниченных ресурсов для языков, чувствительных к диакритике. Код и данные доступны по адресу: https://github.com/gaash-lab/Bolbosh.

English

Kashmiri is spoken by around 7 million people but remains critically underserved in speech technology, despite its official status and rich linguistic heritage. The lack of robust Text-to-Speech (TTS) systems limits digital accessibility and inclusive human-computer interaction for native speakers. In this work, we present the first dedicated open-source neural TTS system designed for Kashmiri. We show that zero-shot multilingual baselines trained for Indic languages fail to produce intelligible speech, achieving a Mean Opinion Score (MOS) of only 1.86, largely due to inadequate modeling of Perso-Arabic diacritics and language-specific phonotactics. To address these limitations, we propose Bolbosh, a supervised cross-lingual adaptation strategy based on Optimal Transport Conditional Flow Matching (OT-CFM) within the Matcha-TTS framework. This enables stable alignment under limited paired data. We further introduce a three-stage acoustic enhancement pipeline consisting of dereverberation, silence trimming, and loudness normalization to unify heterogeneous speech sources and stabilize alignment learning. The model vocabulary is expanded to explicitly encode Kashmiri graphemes, preserving fine-grained vowel distinctions. Our system achieves a MOS of 3.63 and a Mel-Cepstral Distortion (MCD) of 3.73, substantially outperforming multilingual baselines and establishing a new benchmark for Kashmiri speech synthesis. Our results demonstrate that script-aware and supervised flow-based adaptation are critical for low-resource TTS in diacritic-sensitive languages. Code and data are available at: https://github.com/gaash-lab/Bolbosh.