Bolbosh : Appariement de flux basé sur la scripte pour la synthèse vocale en cachemiri
Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
March 8, 2026
Auteurs: Tajamul Ashraf, Burhaan Rasheed Zargar, Saeed Abdul Muizz, Ifrah Mushtaq, Nazima Mehdi, Iqra Altaf Gillani, Aadil Amin Kak, Janibul Bashir
cs.AI
Résumé
Le kashmiri est parlé par environ 7 millions de personnes mais reste gravement sous-desservi en technologies de la parole, malgré son statut officiel et son riche patrimoine linguistique. L'absence de systèmes robustes de synthèse vocale (TTS) limite l'accessibilité numérique et l'interaction homme-machine inclusive pour les locuteurs natifs. Dans ce travail, nous présentons le premier système neuronal open-source de TTS dédié au kashmiri. Nous montrons que les modèles multilingges zero-shot entraînés pour les langues indiques échouent à produire une parole intelligible, obtenant un Score Moyen d'Opinion (MOS) de seulement 1,86, principalement en raison d'une modélisation inadéquate des diacritiques perso-arabes et de la phonotactique spécifique à la langue. Pour remédier à ces limitations, nous proposons Bolbosh, une stratégie d'adaptation supervisée cross-lingue basée sur le Conditional Flow Matching par Transport Optimal (OT-CFM) dans le cadre Matcha-TTS. Cela permet un alignement stable avec des données appariées limitées. Nous introduisons en outre une pipeline d'amélioration acoustique en trois étapes comprenant la déréverbération, l'élagage des silences et la normalisation de la sonie pour unifier des sources vocales hétérogènes et stabiliser l'apprentissage de l'alignement. Le vocabulaire du modèle est étendu pour encoder explicitement les graphèmes kashmiris, préservant les distinctions vocaliques fines. Notre système atteint un MOS de 3,63 et une Distortion Mél-Cepstrale (MCD) de 3,73, surpassant substantiellement les modèles de référence multilingues et établissant une nouvelle référence pour la synthèse vocale en kashmiri. Nos résultats démontrent que l'adaptation supervisée basée sur les flux et consciente de l'écriture est cruciale pour la TTS à faibles ressources dans les langues sensibles aux diacritiques. Le code et les données sont disponibles à l'adresse : https://github.com/gaash-lab/Bolbosh.
English
Kashmiri is spoken by around 7 million people but remains critically underserved in speech technology, despite its official status and rich linguistic heritage. The lack of robust Text-to-Speech (TTS) systems limits digital accessibility and inclusive human-computer interaction for native speakers. In this work, we present the first dedicated open-source neural TTS system designed for Kashmiri. We show that zero-shot multilingual baselines trained for Indic languages fail to produce intelligible speech, achieving a Mean Opinion Score (MOS) of only 1.86, largely due to inadequate modeling of Perso-Arabic diacritics and language-specific phonotactics. To address these limitations, we propose Bolbosh, a supervised cross-lingual adaptation strategy based on Optimal Transport Conditional Flow Matching (OT-CFM) within the Matcha-TTS framework. This enables stable alignment under limited paired data. We further introduce a three-stage acoustic enhancement pipeline consisting of dereverberation, silence trimming, and loudness normalization to unify heterogeneous speech sources and stabilize alignment learning. The model vocabulary is expanded to explicitly encode Kashmiri graphemes, preserving fine-grained vowel distinctions. Our system achieves a MOS of 3.63 and a Mel-Cepstral Distortion (MCD) of 3.73, substantially outperforming multilingual baselines and establishing a new benchmark for Kashmiri speech synthesis. Our results demonstrate that script-aware and supervised flow-based adaptation are critical for low-resource TTS in diacritic-sensitive languages. Code and data are available at: https://github.com/gaash-lab/Bolbosh.