Fazendo o Text-to-Speech Baseado em Flow-Matching Rir como Você Quiser em Cenários Zero-Shot

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

February 12, 2024

Autores: Naoyuki Kanda, Xiaofei Wang, Sefik Emre Eskimez, Manthan Thakker, Hemin Yang, Zirun Zhu, Min Tang, Canrun Li, Steven Tsai, Zhen Xiao, Yufei Xia, Jinzhu Li, Yanqing Liu, Sheng Zhao, Michael Zeng

cs.AI

Resumo

O riso é um dos aspectos mais expressivos e naturais da fala humana, transmitindo emoções, sinais sociais e humor. No entanto, a maioria dos sistemas de conversão de texto em fala (TTS) não possui a capacidade de produzir sons de riso realistas e apropriados, limitando suas aplicações e a experiência do usuário. Embora existam trabalhos anteriores para gerar risos naturais, eles não conseguiram controlar adequadamente o tempo e a variedade do riso a ser gerado. Neste trabalho, propomos o ELaTE, um TTS zero-shot que pode gerar fala com riso natural de qualquer falante com base em um prompt de áudio curto, com controle preciso do tempo e da expressão do riso. Especificamente, o ELaTE utiliza o prompt de áudio para imitar as características da voz, o prompt de texto para indicar o conteúdo da fala gerada e a entrada para controlar a expressão do riso, que pode ser o tempo de início e fim do riso ou um prompt de áudio adicional que contenha o riso a ser imitado. Desenvolvemos nosso modelo com base na fundação de um TTS zero-shot baseado em fluxo condicional, e o ajustamos com representações em nível de quadro de um detector de riso como condicionamento adicional. Com um esquema simples para misturar dados em pequena escala condicionados ao riso com dados de pré-treinamento em grande escala, demonstramos que um modelo TTS zero-shot pré-treinado pode ser facilmente ajustado para gerar risos naturais com controle preciso, sem perder a qualidade do modelo TTS zero-shot pré-treinado. Por meio de avaliações, mostramos que o ELaTE pode gerar fala com riso com qualidade e controle significativamente superiores em comparação com modelos convencionais. Veja https://aka.ms/elate/ para exemplos de demonstração.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.