Rendre la synthèse vocale à partir de texte en zero-shot basée sur le Flow-Matching capable de rire comme vous le souhaitez

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

February 12, 2024

Auteurs: Naoyuki Kanda, Xiaofei Wang, Sefik Emre Eskimez, Manthan Thakker, Hemin Yang, Zirun Zhu, Min Tang, Canrun Li, Steven Tsai, Zhen Xiao, Yufei Xia, Jinzhu Li, Yanqing Liu, Sheng Zhao, Michael Zeng

cs.AI

Résumé

Le rire est l'un des aspects les plus expressifs et naturels de la parole humaine, véhiculant des émotions, des signaux sociaux et de l'humour. Cependant, la plupart des systèmes de synthèse vocale (TTS) ne parviennent pas à produire des sons de rire réalistes et appropriés, limitant ainsi leurs applications et l'expérience utilisateur. Bien que des travaux antérieurs aient tenté de générer des rires naturels, ils n'ont pas réussi à contrôler avec précision le timing et la variété des rires générés. Dans ce travail, nous proposons ELaTE, un système TTS zero-shot capable de générer des paroles riantes naturelles pour n'importe quel locuteur à partir d'un court extrait audio, avec un contrôle précis du timing et de l'expression du rire. Concrètement, ELaTE utilise l'extrait audio pour imiter les caractéristiques vocales, le texte pour indiquer le contenu de la parole générée, et une entrée pour contrôler l'expression du rire, qui peut être soit les moments de début et de fin du rire, soit un extrait audio supplémentaire contenant le rire à imiter. Nous développons notre modèle en nous appuyant sur un système TTS zero-shot basé sur le conditionnement par flow-matching, et l'affinons avec une représentation au niveau des trames provenant d'un détecteur de rire comme conditionnement supplémentaire. Grâce à une méthode simple pour mélanger des données à petite échelle conditionnées par le rire avec des données de pré-entraînement à grande échelle, nous démontrons qu'un modèle TTS zero-shot pré-entraîné peut être facilement affiné pour générer des rires naturels avec une contrôlabilité précise, sans perdre la qualité du modèle TTS zero-shot pré-entraîné. À travers les évaluations, nous montrons qu'ELaTE peut générer des paroles riantes avec une qualité et une contrôlabilité significativement supérieures par rapport aux modèles conventionnels. Consultez https://aka.ms/elate/ pour des exemples de démonstration.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.