EmoKnob: Улучшение клонирования голоса с тонким управлением эмоциями

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Авторы: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Аннотация

Несмотря на недавние достижения в технологии Преобразования Текста в Речь (TTS), обеспечивающие естественную и выразительную речь, они лишены возможности для пользователей выбирать эмоции и контролировать их интенсивность. Мы предлагаем EmoKnob, фреймворк, позволяющий осуществлять тонкий контроль эмоций в синтезе речи с помощью демонстративных образцов произвольных эмоций. Наш фреймворк использует пространство выразительного представления диктора, обеспеченное недавними достижениями в моделях основных клонирования голоса. Основываясь на возможности небольшого количества образцов нашего фреймворка контроля эмоций, мы предлагаем два метода применения контроля эмоций к эмоциям, описанным в тексте без ограничений, обеспечивая интуитивный интерфейс для управления разнообразным спектром тонких эмоций. Для облегчения более систематического синтеза речи с эмоциями мы представляем набор метрик оценки, разработанных для строгой оценки достоверности и узнаваемости фреймворков контроля эмоций. Через объективные и субъективные оценки мы показываем, что наш фреймворк контроля эмоций эффективно внедряет эмоции в речь и превосходит выразительность эмоций коммерческих услуг TTS.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.