EmoKnob: Mejora de la clonación de voz con control de emociones detallado

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Autores: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Resumen

Aunque los avances recientes en la tecnología de Texto a Voz (TTS) producen un habla natural y expresiva, carecen de la opción para que los usuarios seleccionen la emoción y controlen la intensidad. Proponemos EmoKnob, un marco que permite un control de emociones detallado en la síntesis del habla con ejemplos demostrativos de poca cantidad de cualquier emoción. Nuestro marco aprovecha el espacio de representación del hablante expresivo posible gracias a los avances recientes en modelos fundamentales de clonación de voz. Basándonos en la capacidad de poca cantidad de nuestro marco de control emocional, proponemos dos métodos para aplicar control emocional en emociones descritas por texto abierto, permitiendo una interfaz intuitiva para controlar una amplia gama de emociones matizadas. Para facilitar un campo de síntesis del habla emocional más sistemático, introducimos un conjunto de métricas de evaluación diseñadas para evaluar rigurosamente la fidelidad y reconocibilidad de los marcos de control emocional. A través de evaluaciones objetivas y subjetivas, demostramos que nuestro marco de control emocional incorpora efectivamente las emociones en el habla y supera la expresividad emocional de los servicios comerciales de TTS.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.