Boosting von Large Language Models für die Sprachsynthese: Eine empirische Studie

Boosting Large Language Model for Speech Synthesis: An Empirical Study

December 30, 2023

Autoren: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bedeutende Fortschritte in der natürlichen Sprachverarbeitung erzielt und erweitern gleichzeitig die Sprachfähigkeit auf andere Modalitäten wie Sprache und Vision. Dennoch konzentriert sich der Großteil der bisherigen Arbeit darauf, LLMs mit Wahrnehmungsfähigkeiten wie auditivem Verständnis zu prompten, und der effektive Ansatz zur Erweiterung von LLMs mit Sprachsynthesefähigkeiten bleibt unklar. In diesem Papier führen wir eine umfassende empirische Untersuchung durch, um LLMs mit der Fähigkeit zur Sprachgenerierung zu verbessern, indem wir das vortrainierte LLM LLaMA/OPT und das Text-zu-Sprache-Synthesemodell VALL-E kombinieren. Wir vergleichen drei Integrationsmethoden zwischen LLMs und Sprachsynthesemodellen, darunter direkt feinabgestimmte LLMs, überlagerte Schichten von LLMs und VALL-E sowie gekoppelte LLMs und VALL-E unter Verwendung von LLMs als leistungsstarken Textencoder. Die experimentellen Ergebnisse zeigen, dass die direkte Feinabstimmung von LLMs mit der LoRA-Methode zur Verbesserung der Sprachsynthesefähigkeit nicht gut funktioniert und dass überlagerte LLMs und VALL-E die Qualität der generierten Sprache sowohl in Bezug auf die Sprecherähnlichkeit als auch auf die Wortfehlerrate (WER) verbessern können. Unter diesen drei Methoden erzielt die gekoppelte Methode, die LLMs als Textencoder nutzt, die beste Leistung, wodurch sie die ursprünglichen Sprachsynthesemodelle mit einer durchweg besseren Sprecherähnlichkeit und einer signifikanten (10,9 %) Reduzierung der WER übertrifft.

English

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.