Amélioration des grands modèles de langage pour la synthèse vocale : une étude empirique

Boosting Large Language Model for Speech Synthesis: An Empirical Study

December 30, 2023

Auteurs: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont réalisé des avancées significatives dans le traitement du langage naturel et étendent simultanément les capacités linguistiques à d'autres modalités, telles que la parole et la vision. Néanmoins, la plupart des travaux précédents se concentrent sur l'utilisation des LLMs avec des capacités perceptives comme la compréhension auditive, et l'approche efficace pour doter les LLMs de capacités de synthèse vocale reste ambiguë. Dans cet article, nous menons une exploration empirique approfondie de l'amélioration des LLMs avec la capacité de générer de la parole, en combinant le LLM pré-entraîné LLaMA/OPT et le modèle de synthèse vocale VALL-E. Nous comparons trois méthodes d'intégration entre les LLMs et les modèles de synthèse vocale, incluant les LLMs directement affinés, les couches superposées des LLMs et VALL-E, et les LLMs couplés à VALL-E en utilisant les LLMs comme un puissant encodeur de texte. Les résultats expérimentaux montrent que l'utilisation de la méthode LoRA pour affiner directement les LLMs afin d'améliorer la capacité de synthèse vocale ne fonctionne pas bien, et que les LLMs superposés à VALL-E peuvent améliorer la qualité de la parole générée, tant en termes de similarité du locuteur que de taux d'erreur sur les mots (WER). Parmi ces trois méthodes, les méthodes couplées exploitant les LLMs comme encodeur de texte peuvent atteindre les meilleures performances, surpassant les modèles de synthèse vocale originaux avec une similarité du locuteur constamment meilleure et une réduction significative (10,9%) du WER.

English

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.