Bolbosh: Skriptbewusstes Flow Matching für kaschmirische Sprachsynthese
Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
March 8, 2026
Autoren: Tajamul Ashraf, Burhaan Rasheed Zargar, Saeed Abdul Muizz, Ifrah Mushtaq, Nazima Mehdi, Iqra Altaf Gillani, Aadil Amin Kak, Janibul Bashir
cs.AI
Zusammenfassung
Kashmiri wird von etwa 7 Millionen Menschen gesprochen, ist jedoch in der Sprachtechnologie nach wie vor kritisch unterversorgt, trotz seines offiziellen Status und seines reichen linguistischen Erbes. Das Fehlen robuster Text-to-Speech (TTS)-Systeme schränkt die digitale Barrierefreiheit und inklusive Mensch-Computer-Interaktion für Muttersprachler ein. In dieser Arbeit stellen wir das erste dedizierte, quelloffene neuronale TTS-System für Kashmiri vor. Wir zeigen, dass Zero-Shot-Multilingual-Baselines, die für indische Sprachen trainiert wurden, keine verständliche Sprache erzeugen können und einen Mean Opinion Score (MOS) von nur 1,86 erreichen, was hauptsächlich auf eine unzureichende Modellierung der persisch-arabischen Diakritika und sprachspezifischen Phonotaktik zurückzuführen ist. Um diese Einschränkungen zu adressieren, schlagen wir Bolbosh vor, eine überwachte cross-linguale Adaptionsstrategie basierend auf Optimal Transport Conditional Flow Matching (OT-CFM) innerhalb des Matcha-TTS-Frameworks. Dies ermöglicht eine stabile Alignment-Bildung bei begrenzten gepaarten Daten. Darüber hinaus führen wir eine dreistufige Pipeline zur akustischen Verbesserung ein, bestehend aus Entfernung von Nachhall, Stille-Trimmung und Lautstärkenormalisierung, um heterogene Sprachquellen zu vereinheitlichen und das Alignment-Lernen zu stabilisieren. Der Modell-Wortschatz wurde erweitert, um kaschmirische Grapheme explizit zu kodieren und feine Vokalunterschiede zu bewahren. Unser System erreicht einen MOS von 3,63 und eine Mel-Cepstral Distortion (MCD) von 3,73 und übertrifft multilinguale Baselines deutlich, wodurch ein neuer Maßstab für die kaschmirische Sprachsynthese gesetzt wird. Unsere Ergebnisse demonstrieren, dass skriptbewusste und überwachte, flow-basierte Adaption entscheidend für TTS mit geringen Ressourcen in diakritikasensitiven Sprachen sind. Code und Daten sind verfügbar unter: https://github.com/gaash-lab/Bolbosh.
English
Kashmiri is spoken by around 7 million people but remains critically underserved in speech technology, despite its official status and rich linguistic heritage. The lack of robust Text-to-Speech (TTS) systems limits digital accessibility and inclusive human-computer interaction for native speakers. In this work, we present the first dedicated open-source neural TTS system designed for Kashmiri. We show that zero-shot multilingual baselines trained for Indic languages fail to produce intelligible speech, achieving a Mean Opinion Score (MOS) of only 1.86, largely due to inadequate modeling of Perso-Arabic diacritics and language-specific phonotactics. To address these limitations, we propose Bolbosh, a supervised cross-lingual adaptation strategy based on Optimal Transport Conditional Flow Matching (OT-CFM) within the Matcha-TTS framework. This enables stable alignment under limited paired data. We further introduce a three-stage acoustic enhancement pipeline consisting of dereverberation, silence trimming, and loudness normalization to unify heterogeneous speech sources and stabilize alignment learning. The model vocabulary is expanded to explicitly encode Kashmiri graphemes, preserving fine-grained vowel distinctions. Our system achieves a MOS of 3.63 and a Mel-Cepstral Distortion (MCD) of 3.73, substantially outperforming multilingual baselines and establishing a new benchmark for Kashmiri speech synthesis. Our results demonstrate that script-aware and supervised flow-based adaptation are critical for low-resource TTS in diacritic-sensitive languages. Code and data are available at: https://github.com/gaash-lab/Bolbosh.