Усиление больших языковых моделей для синтеза речи: эмпирическое исследование

Boosting Large Language Model for Speech Synthesis: An Empirical Study

December 30, 2023

Авторы: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

cs.AI

Аннотация

Крупные языковые модели (LLM) достигли значительных успехов в обработке естественного языка и одновременно расширяют языковые способности на другие модальности, такие как речь и зрение. Тем не менее, большинство предыдущих работ сосредоточено на наделении LLM способностями восприятия, такими как слуховое понимание, в то время как эффективный подход к расширению LLM возможностями синтеза речи остается неясным. В данной статье мы проводим всестороннее эмпирическое исследование по наделению LLM способностью генерировать речь, комбинируя предобученные модели LLaMA/OPT и модель синтеза речи VALL-E. Мы сравниваем три метода интеграции LLM и моделей синтеза речи, включая прямое тонкое обучение LLM, наложение слоев LLM и VALL-E, а также связанные LLM и VALL-E с использованием LLM в качестве мощного текстового энкодера. Результаты экспериментов показывают, что использование метода LoRA для прямого тонкого обучения LLM с целью улучшения способности синтеза речи не дает хороших результатов, а наложение LLM и VALL-E может улучшить качество генерируемой речи как по сходству с голосом, так и по частоте ошибок в словах (WER). Среди этих трех методов связанные методы, использующие LLM в качестве текстового энкодера, демонстрируют наилучшие результаты, превосходя оригинальные модели синтеза речи с более высоким сходством голоса и значительным (10,9%) снижением WER.

English

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.