Создание системы преобразования текста в речь на основе Flow Matching с нулевым обучением, способной смеяться по вашему желанию

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

February 12, 2024

Авторы: Naoyuki Kanda, Xiaofei Wang, Sefik Emre Eskimez, Manthan Thakker, Hemin Yang, Zirun Zhu, Min Tang, Canrun Li, Steven Tsai, Zhen Xiao, Yufei Xia, Jinzhu Li, Yanqing Liu, Sheng Zhao, Michael Zeng

cs.AI

Аннотация

Смех является одним из самых выразительных и естественных аспектов человеческой речи, передающим эмоции, социальные сигналы и юмор. Однако большинство систем преобразования текста в речь (TTS) не способны воспроизводить реалистичные и уместные звуки смеха, что ограничивает их применение и качество взаимодействия с пользователем. Хотя ранее предпринимались попытки генерации естественного смеха, они не достигали достаточного уровня контроля над временем и разнообразием генерируемого смеха. В данной работе мы представляем ELaTE — zero-shot TTS систему, способную генерировать естественную речь со смехом для любого говорящего на основе короткого аудиопромпта с точным контролем времени и выражения смеха. В частности, ELaTE использует аудиопромпт для имитации характеристик голоса, текстовый промпт для указания содержания генерируемой речи и входные данные для управления выражением смеха, которые могут быть либо временем начала и окончания смеха, либо дополнительным аудиопромптом, содержащим смех для имитации. Мы разрабатываем нашу модель на основе условного flow-matching подхода для zero-shot TTS и дорабатываем её с использованием фрейм-уровневого представления от детектора смеха в качестве дополнительного условия. С помощью простой схемы смешивания небольшого набора данных, обусловленных смехом, с крупномасштабными данными предварительного обучения, мы демонстрируем, что предварительно обученная zero-shot TTS модель может быть легко доработана для генерации естественного смеха с высокой степенью управляемости, без потери качества самой модели. В ходе оценок мы показываем, что ELaTE способна генерировать речь со смехом значительно более высокого качества и управляемости по сравнению с традиционными моделями. Демонстрационные примеры доступны по ссылке: https://aka.ms/elate/.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.