EmoKnob : Améliorer le clonage vocal avec un contrôle émotionnel finement ajusté

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Auteurs: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Résumé

Alors que les récentes avancées dans la technologie de Text-to-Speech (TTS) produisent une parole naturelle et expressive, elles ne proposent pas d'option permettant aux utilisateurs de sélectionner une émotion et de contrôler son intensité. Nous proposons EmoKnob, un cadre qui permet un contrôle émotionnel fin dans la synthèse de la parole avec quelques échantillons de démonstration à tir rapide de toute émotion arbitraire. Notre cadre exploite l'espace de représentation expressive du locuteur rendu possible par les récentes avancées dans les modèles de clonage vocal de base. Sur la base de la capacité à tir rapide de notre cadre de contrôle émotionnel, nous proposons deux méthodes pour appliquer le contrôle émotionnel sur des émotions décrites par un texte ouvert, permettant une interface intuitive pour contrôler une variété diversifiée d'émotions nuancées. Afin de faciliter un domaine de synthèse de parole émotionnelle plus systématique, nous introduisons un ensemble de métriques d'évaluation conçues pour évaluer rigoureusement la fidélité et la reconnaissabilité des cadres de contrôle émotionnel. À travers des évaluations objectives et subjectives, nous montrons que notre cadre de contrôle émotionnel intègre efficacement les émotions dans la parole et dépasse l'expressivité émotionnelle des services commerciaux de TTS.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.