Bolbosh: Emparejamiento de Flujo Consciente del Guion para la Síntesis de Voz en Cachemiro
Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
March 8, 2026
Autores: Tajamul Ashraf, Burhaan Rasheed Zargar, Saeed Abdul Muizz, Ifrah Mushtaq, Nazima Mehdi, Iqra Altaf Gillani, Aadil Amin Kak, Janibul Bashir
cs.AI
Resumen
El cachemir es hablado por aproximadamente 7 millones de personas, pero sigue estando críticamente desatendido en tecnologías del habla, a pesar de su estatus oficial y su rico patrimonio lingüístico. La falta de sistemas robustos de conversión de texto a voz (TTS) limita la accesibilidad digital y la interacción humano-computadora inclusiva para los hablantes nativos. En este trabajo, presentamos el primer sistema neuronal TTS de código abierto dedicado al cachemir. Demostramos que los modelos base multilingües de cero shot entrenados para lenguas índicas no producen habla inteligible, alcanzando un Puntuación Media de Opinión (MOS) de solo 1.86, debido principalmente al modelado inadecuado de los diacríticos perso-arábigos y la fonotáctica específica del idioma. Para abordar estas limitaciones, proponemos Bolbosh, una estrategia de adaptación transcultural supervisada basada en la Correspondencia de Flujo Condicional con Transporte Óptimo (OT-CFM) dentro del framework Matcha-TTS. Esto permite una alineación estable con datos pareados limitados. Además, introducimos un pipeline de tres etapas para la mejora acústica, que consiste en desreverberación, recorte de silencios y normalización de volumen, para unificar fuentes de habla heterogéneas y estabilizar el aprendizaje de la alineación. El vocabulario del modelo se expande para codificar explícitamente los grafemas del cachemir, preservando las distinciones vocálicas detalladas. Nuestro sistema alcanza un MOS de 3.63 y una Distorsión Mel-Cepstral (MCD) de 3.73, superando sustancialmente a los modelos base multilingües y estableciendo un nuevo referente para la síntesis de voz en cachemir. Nuestros resultados demuestran que la adaptación supervisada basada en flujo y consciente de la escritura es crítica para TTS en lenguas de bajos recursos sensibles a diacríticos. El código y los datos están disponibles en: https://github.com/gaash-lab/Bolbosh.
English
Kashmiri is spoken by around 7 million people but remains critically underserved in speech technology, despite its official status and rich linguistic heritage. The lack of robust Text-to-Speech (TTS) systems limits digital accessibility and inclusive human-computer interaction for native speakers. In this work, we present the first dedicated open-source neural TTS system designed for Kashmiri. We show that zero-shot multilingual baselines trained for Indic languages fail to produce intelligible speech, achieving a Mean Opinion Score (MOS) of only 1.86, largely due to inadequate modeling of Perso-Arabic diacritics and language-specific phonotactics. To address these limitations, we propose Bolbosh, a supervised cross-lingual adaptation strategy based on Optimal Transport Conditional Flow Matching (OT-CFM) within the Matcha-TTS framework. This enables stable alignment under limited paired data. We further introduce a three-stage acoustic enhancement pipeline consisting of dereverberation, silence trimming, and loudness normalization to unify heterogeneous speech sources and stabilize alignment learning. The model vocabulary is expanded to explicitly encode Kashmiri graphemes, preserving fine-grained vowel distinctions. Our system achieves a MOS of 3.63 and a Mel-Cepstral Distortion (MCD) of 3.73, substantially outperforming multilingual baselines and establishing a new benchmark for Kashmiri speech synthesis. Our results demonstrate that script-aware and supervised flow-based adaptation are critical for low-resource TTS in diacritic-sensitive languages. Code and data are available at: https://github.com/gaash-lab/Bolbosh.