EmoKnob: Verbesserte Sprachklonierung mit fein abgestimmter Emotionssteuerung

EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control

October 1, 2024

Autoren: Haozhe Chen, Run Chen, Julia Hirschberg

cs.AI

Zusammenfassung

Obwohl die jüngsten Fortschritte in der Text-to-Speech (TTS)-Technologie natürliche und ausdrucksstarke Sprache erzeugen, fehlt es ihnen an der Möglichkeit für Benutzer, Emotionen auszuwählen und die Intensität zu steuern. Wir schlagen EmoKnob vor, ein Framework, das eine fein abgestufte Emotionskontrolle in der Sprachsynthese mit wenigen Demonstrationsbeispielen beliebiger Emotionen ermöglicht. Unser Framework nutzt den ausdrucksstarken Sprecherrepräsentationsraum, der durch die jüngsten Fortschritte in Grundlagen-Voice-Cloning-Modellen ermöglicht wird. Basierend auf der Fähigkeit unseres Emotionskontroll-Frameworks, Emotionskontrolle auf Emotionen anzuwenden, die durch offenen Text beschrieben sind, schlagen wir zwei Methoden vor, um eine Emotionskontrolle auf Emotionen anzuwenden, die durch offenen Text beschrieben sind, und ermöglichen eine intuitive Benutzeroberfläche zur Steuerung einer vielfältigen Palette von nuancierten Emotionen. Um ein systematischeres Feld der emotionalen Sprachsynthese zu fördern, führen wir eine Reihe von Bewertungsmetriken ein, die darauf ausgelegt sind, die Treue und Erkennbarkeit von Emotionskontroll-Frameworks rigoros zu bewerten. Durch objektive und subjektive Bewertungen zeigen wir, dass unser Emotionskontroll-Framework Emotionen effektiv in die Sprache einbettet und die Emotionsausdrucksfähigkeit kommerzieller TTS-Dienste übertrifft.

English

While recent advances in Text-to-Speech (TTS) technology produce natural and expressive speech, they lack the option for users to select emotion and control intensity. We propose EmoKnob, a framework that allows fine-grained emotion control in speech synthesis with few-shot demonstrative samples of arbitrary emotion. Our framework leverages the expressive speaker representation space made possible by recent advances in foundation voice cloning models. Based on the few-shot capability of our emotion control framework, we propose two methods to apply emotion control on emotions described by open-ended text, enabling an intuitive interface for controlling a diverse array of nuanced emotions. To facilitate a more systematic emotional speech synthesis field, we introduce a set of evaluation metrics designed to rigorously assess the faithfulness and recognizability of emotion control frameworks. Through objective and subjective evaluations, we show that our emotion control framework effectively embeds emotions into speech and surpasses emotion expressiveness of commercial TTS services.