Het Versterken van Grote Taalmodellen voor Spraaksynthese: Een Empirische Studie

Boosting Large Language Model for Speech Synthesis: An Empirical Study

December 30, 2023

Auteurs: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in natuurlijke taalverwerking en breiden tegelijkertijd de taalvaardigheid uit naar andere modaliteiten, zoals spraak en visie. Desalniettemin richt het merendeel van het eerdere werk zich op het aansturen van LLMs met perceptievaardigheden zoals auditief begrip, en de effectieve aanpak voor het versterken van LLMs met spraaksynthesecapaciteiten blijft onduidelijk. In dit artikel voeren we een uitgebreid empirisch onderzoek uit naar het verbeteren van LLMs met de mogelijkheid om spraak te genereren, door het combineren van vooraf getrainde LLM LLaMA/OPT en het tekst-naar-spraaksynthesemodel VALL-E. We vergelijken drie integratiemethoden tussen LLMs en spraaksynthesemodellen, waaronder direct gefinetunde LLMs, gestapelde lagen van LLMs en VALL-E, en gekoppelde LLMs en VALL-E waarbij LLMs worden gebruikt als een krachtige tekstencoder. Experimentele resultaten tonen aan dat het gebruik van de LoRA-methode om LLMs direct te finetunen voor het verbeteren van de spraaksynthesecapaciteit niet goed werkt, en dat gestapelde LLMs en VALL-E de kwaliteit van gegenereerde spraak kunnen verbeteren, zowel in sprekersgelijkenis als in woordfoutenpercentage (WER). Van deze drie methoden presteren de gekoppelde methoden die LLMs als tekstencoder gebruiken het beste, waardoor het de originele spraaksynthesemodellen overtreft met een consistent betere sprekersgelijkenis en een significante (10,9%) vermindering van het WER.

English

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.