Ottimizzazione del Text-To-Speech Multilingue con Accenti ed Emozioni

Abstract

I sistemi all'avanguardia di sintesi vocale (TTS) raggiungono un elevato livello di naturalezza in contesti monolingue, ma la sintesi del parlato con accenti multilingue corretti (specialmente per le lingue indiane) e con emozioni pertinenti al contesto presenta ancora difficoltà a causa delle discrepanze nelle sfumature culturali nei framework attuali. Questo articolo introduce una nuova architettura TTS che integra l'accento insieme alla preservazione della traslitterazione con una modellizzazione delle emozioni su più scale, particolarmente ottimizzata per l'hindi e l'accento dell'inglese indiano. Il nostro approccio estende il modello Parler-TTS integrando un'architettura ibrida encoder-decoder specifica per l'allineamento fonemico linguistico, strati di embedding delle emozioni sensibili alla cultura addestrati su corpora di parlanti nativi, nonché un code switching dinamico dell'accento con quantizzazione vettoriale residua. Test quantitativi dimostrano un miglioramento del 23,7% nell'accuratezza dell'accento (riduzione del Word Error Rate dal 15,4% all'11,8%) e un'accuratezza del riconoscimento delle emozioni dell'85,3% da parte di ascoltatori nativi, superando i benchmark METTS e VECL-TTS. La novità del sistema è che può mescolare i codici in tempo reale, generando frasi come "Namaste, parliamo di <frase in hindi>" con cambiamenti di accento ininterrotti mantenendo la coerenza emotiva. Una valutazione soggettiva con 200 utenti ha riportato un punteggio medio di opinione (MOS) di 4,2/5 per la correttezza culturale, molto migliore rispetto ai sistemi multilingue esistenti (p<0,01). Questa ricerca rende la sintesi cross-lingue più fattibile mostrando una separazione scalabile tra accento ed emozione, con applicazione diretta nel settore dell'EdTech sudasiatico e nei software di accessibilità.

English

State-of-the-art text-to-speech (TTS) systems realize high naturalness in monolingual environments, synthesizing speech with correct multilingual accents (especially for Indic languages) and context-relevant emotions still poses difficulty owing to cultural nuance discrepancies in current frameworks. This paper introduces a new TTS architecture integrating accent along with preserving transliteration with multi-scale emotion modelling, in particularly tuned for Hindi and Indian English accent. Our approach extends the Parler-TTS model by integrating A language-specific phoneme alignment hybrid encoder-decoder architecture, and culture-sensitive emotion embedding layers trained on native speaker corpora, as well as incorporating a dynamic accent code switching with residual vector quantization. Quantitative tests demonstrate 23.7% improvement in accent accuracy (Word Error Rate reduction from 15.4% to 11.8%) and 85.3% emotion recognition accuracy from native listeners, surpassing METTS and VECL-TTS baselines. The novelty of the system is that it can mix code in real time - generating statements such as "Namaste, let's talk about <Hindi phrase>" with uninterrupted accent shifts while preserving emotional consistency. Subjective evaluation with 200 users reported a mean opinion score (MOS) of 4.2/5 for cultural correctness, much better than existing multilingual systems (p<0.01). This research makes cross-lingual synthesis more feasible by showcasing scalable accent-emotion disentanglement, with direct application in South Asian EdTech and accessibility software.

Ottimizzazione del Text-To-Speech Multilingue con Accenti ed Emozioni

Optimizing Multilingual Text-To-Speech with Accents & Emotions

Abstract

Support