EmoKnob: Verbeter Stemklonen met Fijnmazige Emotiecontrole

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Auteurs: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Samenvatting

Hoewel recente ontwikkelingen in Tekst-naar-Spraak (TTS) technologie natuurlijke en expressieve spraak produceren, ontbreekt het gebruikers aan de mogelijkheid om emotie te selecteren en de intensiteit te regelen. Wij stellen EmoKnob voor, een framework dat fijnmazige emotieregeling in spraaksynthese mogelijk maakt met enkele demonstratieve voorbeelden van willekeurige emoties. Ons framework maakt gebruik van de expressieve sprekersrepresentatieruimte die mogelijk is gemaakt door recente ontwikkelingen in basisstemkloningsmodellen. Op basis van de few-shot mogelijkheid van ons emotieregelingsframework stellen we twee methoden voor om emotieregeling toe te passen op emoties beschreven door open-eindige tekst, waardoor een intuïtieve interface ontstaat voor het regelen van een divers scala aan genuanceerde emoties. Om een meer systematisch veld voor emotionele spraaksynthese te vergemakkelijken, introduceren we een reeks evaluatiemetrics die zijn ontworpen om de geloofwaardigheid en herkenbaarheid van emotieregelingsframeworks rigoureus te beoordelen. Door middel van objectieve en subjectieve evaluaties tonen we aan dat ons emotieregelingsframework emoties effectief in spraak incorporeert en de emotionele expressiviteit van commerciële TTS-diensten overtreft.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.