Flow-Matching-basierte Zero-Shot Text-to-Speech-Systeme zum Lachen bringen, wie Sie es möchten

Zusammenfassung

Lachen ist einer der ausdrucksstärksten und natürlichsten Aspekte der menschlichen Sprache, der Emotionen, soziale Signale und Humor vermittelt. Die meisten Text-zu-Sprache (TTS)-Systeme sind jedoch nicht in der Lage, realistische und angemessene Lachen zu erzeugen, was ihre Anwendungsmöglichkeiten und das Nutzererlebnis einschränkt. Obwohl es bereits frühere Arbeiten zur Erzeugung von natürlichem Lachen gab, konnten sie die zeitliche Steuerung und Vielfalt des zu erzeugenden Lachens nicht ausreichend kontrollieren. In dieser Arbeit stellen wir ELaTE vor, ein Zero-Shot-TTS-System, das natürliches lachendes Sprechen für jeden Sprecher auf der Grundlage eines kurzen Audio-Prompts mit präziser Kontrolle über den Zeitpunkt und den Ausdruck des Lachens erzeugen kann. Konkret arbeitet ELaTE mit dem Audio-Prompt, um die Stimmcharakteristik nachzuahmen, dem Text-Prompt, um den Inhalt der erzeugten Sprache anzugeben, und der Eingabe zur Steuerung des Lachens, die entweder die Start- und Endzeiten des Lachens oder ein zusätzliches Audio-Prompt, das Lachen enthält, das nachgeahmt werden soll, sein kann. Wir entwickeln unser Modell auf der Grundlage eines Zero-Shot-TTS-Systems, das auf bedingtem Flow-Matching basiert, und verfeinern es mit einer Frame-Level-Darstellung eines Lachen-Detektors als zusätzliche Bedingung. Mit einem einfachen Schema, das kleinere Mengen von lachbedingten Daten mit umfangreichen Vorab-Trainingsdaten kombiniert, zeigen wir, dass ein vortrainiertes Zero-Shot-TTS-Modell problemlos verfeinert werden kann, um natürliches Lachen mit präziser Steuerbarkeit zu erzeugen, ohne die Qualität des vortrainierten Zero-Shot-TTS-Modells zu beeinträchtigen. Durch die Evaluierungen zeigen wir, dass ELaTE lachende Sprache mit deutlich höherer Qualität und Steuerbarkeit im Vergleich zu herkömmlichen Modellen erzeugen kann. Demo-Beispiele finden Sie unter https://aka.ms/elate/.

English

Laughter is one of the most expressive and natural aspects of human speech, conveying emotions, social cues, and humor. However, most text-to-speech (TTS) systems lack the ability to produce realistic and appropriate laughter sounds, limiting their applications and user experience. While there have been prior works to generate natural laughter, they fell short in terms of controlling the timing and variety of the laughter to be generated. In this work, we propose ELaTE, a zero-shot TTS that can generate natural laughing speech of any speaker based on a short audio prompt with precise control of laughter timing and expression. Specifically, ELaTE works on the audio prompt to mimic the voice characteristic, the text prompt to indicate the contents of the generated speech, and the input to control the laughter expression, which can be either the start and end times of laughter, or the additional audio prompt that contains laughter to be mimicked. We develop our model based on the foundation of conditional flow-matching-based zero-shot TTS, and fine-tune it with frame-level representation from a laughter detector as additional conditioning. With a simple scheme to mix small-scale laughter-conditioned data with large-scale pre-training data, we demonstrate that a pre-trained zero-shot TTS model can be readily fine-tuned to generate natural laughter with precise controllability, without losing any quality of the pre-trained zero-shot TTS model. Through the evaluations, we show that ELaTE can generate laughing speech with significantly higher quality and controllability compared to conventional models. See https://aka.ms/elate/ for demo samples.

Flow-Matching-basierte Zero-Shot Text-to-Speech-Systeme zum Lachen bringen, wie Sie es möchten

Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like

Zusammenfassung

Support