EmoKnob: Potenziare il Clonaggio Vocale con Controllo delle Emozioni Dettagliato

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Autori: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Abstract

Mentre i recenti progressi nella tecnologia Text-to-Speech (TTS) producono un discorso naturale ed espressivo, manca l'opzione per gli utenti di selezionare l'emozione e controllarne l'intensità. Proponiamo EmoKnob, un framework che consente un controllo dell'emozione dettagliato nella sintesi del discorso con pochi esempi dimostrativi a colpo d'occhio di emozioni arbitrarie. Il nostro framework sfrutta lo spazio di rappresentazione espressiva degli speaker reso possibile dai recenti progressi nei modelli di clonazione vocale di base. Sulla base della capacità a colpo d'occhio del nostro framework di controllo dell'emozione, proponiamo due metodi per applicare il controllo dell'emozione su emozioni descritte da testi aperti, consentendo un'interfaccia intuitiva per controllare una vasta gamma di emozioni sfumate. Per facilitare un campo di sintesi del discorso emotivo più sistematico, introduciamo un insieme di metriche di valutazione progettate per valutare rigorosamente la fedeltà e la riconoscibilità dei framework di controllo dell'emozione. Attraverso valutazioni oggettive e soggettive, mostriamo che il nostro framework di controllo dell'emozione incorpora efficacemente le emozioni nel discorso e supera l'espressività emotiva dei servizi commerciali di TTS.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.