Potenciando Modelos de Lenguaje a Gran Escala para Síntesis de Voz: Un Estudio Empírico

Boosting Large Language Model for Speech Synthesis: An Empirical Study

December 30, 2023

Autores: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado avances significativos en el procesamiento del lenguaje natural y, al mismo tiempo, están extendiendo su capacidad lingüística a otras modalidades, como el habla y la visión. Sin embargo, la mayoría de los trabajos previos se han centrado en dotar a los LLMs de habilidades perceptivas, como la comprensión auditiva, mientras que el enfoque efectivo para mejorar los LLMs con capacidades de síntesis de voz sigue siendo ambiguo. En este artículo, realizamos una exploración empírica exhaustiva para potenciar los LLMs con la capacidad de generar habla, combinando el LLM preentrenado LLaMA/OPT y el modelo de síntesis de texto a voz VALL-E. Comparamos tres métodos de integración entre los LLMs y los modelos de síntesis de voz, que incluyen la fine-tuning directa de los LLMs, la superposición de capas de los LLMs y VALL-E, y el acoplamiento de los LLMs y VALL-E utilizando los LLMs como un potente codificador de texto. Los resultados experimentales muestran que el uso del método LoRA para fine-tunear directamente los LLMs con el fin de mejorar la capacidad de síntesis de voz no funciona bien, mientras que la superposición de los LLMs y VALL-E puede mejorar la calidad del habla generada tanto en la similitud del hablante como en la tasa de error de palabras (WER, por sus siglas en inglés). Entre estos tres métodos, los métodos acoplados que aprovechan los LLMs como codificador de texto logran el mejor rendimiento, superando a los modelos originales de síntesis de voz con una similitud del hablante consistentemente mejor y una reducción significativa (10,9%) en la WER.

English

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.