Far ridere i sistemi di sintesi vocale zero-shot basati su Flow Matching come preferisci

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

February 12, 2024

Autori: Naoyuki Kanda, Xiaofei Wang, Sefik Emre Eskimez, Manthan Thakker, Hemin Yang, Zirun Zhu, Min Tang, Canrun Li, Steven Tsai, Zhen Xiao, Yufei Xia, Jinzhu Li, Yanqing Liu, Sheng Zhao, Michael Zeng

cs.AI

Abstract

Il riso è uno degli aspetti più espressivi e naturali del linguaggio umano, in grado di trasmettere emozioni, segnali sociali e umorismo. Tuttavia, la maggior parte dei sistemi di sintesi vocale (TTS) non è in grado di produrre suoni di riso realistici e appropriati, limitando le loro applicazioni e l'esperienza utente. Sebbene siano stati compiuti sforzi precedenti per generare risate naturali, questi non sono riusciti a controllare con precisione il tempismo e la varietà delle risate da generare. In questo lavoro, proponiamo ELaTE, un TTS zero-shot in grado di generare discorsi con risate naturali di qualsiasi speaker basandosi su un breve prompt audio, con un controllo preciso del tempismo e dell'espressione della risata. Nello specifico, ELaTE utilizza il prompt audio per imitare le caratteristiche vocali, il prompt testuale per indicare il contenuto del discorso generato e l'input per controllare l'espressione della risata, che può essere rappresentato dai tempi di inizio e fine della risata o da un ulteriore prompt audio contenente la risata da imitare. Sviluppiamo il nostro modello basandoci su un TTS zero-shot fondato sul conditional flow matching, e lo perfezioniamo utilizzando una rappresentazione a livello di frame proveniente da un rilevatore di risate come condizionamento aggiuntivo. Con un semplice schema per miscelare dati su piccola scala condizionati alle risate con dati di pre-addestramento su larga scala, dimostriamo che un modello TTS zero-shot pre-addestrato può essere facilmente perfezionato per generare risate naturali con una controllabilità precisa, senza perdere la qualità del modello TTS zero-shot pre-addestrato. Attraverso le valutazioni, mostriamo che ELaTE è in grado di generare discorsi con risate di qualità e controllabilità significativamente superiori rispetto ai modelli convenzionali. Visita https://aka.ms/elate/ per ascoltare esempi dimostrativi.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.