Het maken van Flow-Matching-gebaseerde Zero-Shot Text-to-Speech die lacht zoals jij wilt

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

February 12, 2024

Auteurs: Naoyuki Kanda, Xiaofei Wang, Sefik Emre Eskimez, Manthan Thakker, Hemin Yang, Zirun Zhu, Min Tang, Canrun Li, Steven Tsai, Zhen Xiao, Yufei Xia, Jinzhu Li, Yanqing Liu, Sheng Zhao, Michael Zeng

cs.AI

Samenvatting

Lachen is een van de meest expressieve en natuurlijke aspecten van menselijke spraak, waarbij emoties, sociale signalen en humor worden overgebracht. De meeste tekst-naar-spraak (TTS) systemen zijn echter niet in staat om realistische en passende lachgeluiden te produceren, wat hun toepassingen en gebruikerservaring beperkt. Hoewel er eerder pogingen zijn gedaan om natuurlijk lachen te genereren, schoten deze tekort in het beheersen van de timing en variatie van het te genereren lachen. In dit werk stellen we ELaTE voor, een zero-shot TTS die natuurlijke lachspraak van elke spreker kan genereren op basis van een kort audiovoorbeeld met precieze controle over de timing en expressie van het lachen. Specifiek werkt ELaTE op het audiovoorbeeld om de stemkarakteristiek na te bootsen, het tekstprompt om de inhoud van de gegenereerde spraak aan te geven, en de invoer om de lachexpressie te beheersen, wat ofwel de start- en eindtijden van het lachen kan zijn, of een extra audiovoorbeeld dat lachen bevat dat moet worden nagebootst. We ontwikkelen ons model op basis van de fundering van conditionele flow-matching-gebaseerde zero-shot TTS, en fine-tunen het met frame-level representaties van een lachdetector als aanvullende conditionering. Met een eenvoudig schema om kleinschalige lach-geconditioneerde data te mengen met grootschalige pre-trainingsdata, tonen we aan dat een vooraf getraind zero-shot TTS model gemakkelijk kan worden gefinetuned om natuurlijk lachen te genereren met precieze beheersbaarheid, zonder enig kwaliteitsverlies van het vooraf getrainde zero-shot TTS model. Door de evaluaties laten we zien dat ELaTE lachspraak kan genereren met aanzienlijk hogere kwaliteit en beheersbaarheid in vergelijking met conventionele modellen. Zie https://aka.ms/elate/ voor demovoorbeelden.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.