EmoKnob: Aprimorando a Clonagem de Voz com Controle de Emoção Detalhado

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Autores: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Resumo

Embora os avanços recentes na tecnologia de Texto para Fala (TTS) produzam uma fala natural e expressiva, eles carecem da opção para os usuários selecionarem emoções e controlarem a intensidade. Propomos o EmoKnob, um framework que permite o controle de emoções refinado na síntese de fala com amostras demonstrativas de poucas emoções arbitrárias. Nosso framework aproveita o espaço de representação do locutor expressivo viabilizado pelos avanços recentes em modelos fundamentais de clonagem de voz. Com base na capacidade de poucas amostras do nosso framework de controle de emoções, propomos dois métodos para aplicar controle de emoções em emoções descritas por texto aberto, possibilitando uma interface intuitiva para controlar uma ampla gama de emoções sutis. Para facilitar um campo de síntese de fala emocional mais sistemático, introduzimos um conjunto de métricas de avaliação projetadas para avaliar rigorosamente a fidelidade e reconhecibilidade de frameworks de controle de emoções. Através de avaliações objetivas e subjetivas, mostramos que nosso framework de controle de emoções incorpora efetivamente emoções na fala e supera a expressividade emocional dos serviços comerciais de TTS.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.