VALL-E 2: Neuronale Codec-Sprachmodelle sind menschenähnliche Null-Schuss-Text-zu-Sprache-Synthesizer.

VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers

June 8, 2024

Autoren: Sanyuan Chen, Shujie Liu, Long Zhou, Yanqing Liu, Xu Tan, Jinyu Li, Sheng Zhao, Yao Qian, Furu Wei

cs.AI

Zusammenfassung

Dieses Papier stellt VALL-E 2 vor, den neuesten Fortschritt in neuronalen Codec-Sprachmodellen, der einen Meilenstein in der Null-Schuss-Text-zu-Sprache-Synthese (TTS) darstellt und erstmals die menschliche Parität erreicht. Basierend auf seinem Vorgänger, VALL-E, führt die neue Iteration zwei bedeutende Verbesserungen ein: Die Wiederholungsbewusste Abtastung verfeinert den ursprünglichen Nukleus-Abtastprozess, indem sie die Token-Wiederholung in der Dekodierungshistorie berücksichtigt. Dies stabilisiert nicht nur die Dekodierung, sondern umgeht auch das Problem der unendlichen Schleife. Das Gruppierte Code-Modellieren organisiert Codec-Codes in Gruppen, um die Sequenzlänge effektiv zu verkürzen, was nicht nur die Inferenzgeschwindigkeit steigert, sondern auch den Herausforderungen der langen Sequenzmodellierung entgegenwirkt. Unsere Experimente mit den LibriSpeech- und VCTK-Datensätzen zeigen, dass VALL-E 2 bisherige Systeme in der Sprachrobustheit, Natürlichkeit und Sprecherähnlichkeit übertrifft. Es ist das erste seiner Art, das die menschliche Parität in diesen Benchmarks erreicht. Darüber hinaus synthetisiert VALL-E 2 konsistent hochwertige Sprache, selbst für Sätze, die aufgrund ihrer Komplexität oder wiederholten Phrasen traditionell herausfordernd sind. Die Vorteile dieser Arbeit könnten wertvolle Bemühungen unterstützen, wie beispielsweise die Erzeugung von Sprache für Personen mit Aphasie oder Menschen mit amyotropher Lateralsklerose. Demos von VALL-E 2 werden unter https://aka.ms/valle2 veröffentlicht.

English

This paper introduces VALL-E 2, the latest advancement in neural codec language models that marks a milestone in zero-shot text-to-speech synthesis (TTS), achieving human parity for the first time. Based on its predecessor, VALL-E, the new iteration introduces two significant enhancements: Repetition Aware Sampling refines the original nucleus sampling process by accounting for token repetition in the decoding history. It not only stabilizes the decoding but also circumvents the infinite loop issue. Grouped Code Modeling organizes codec codes into groups to effectively shorten the sequence length, which not only boosts inference speed but also addresses the challenges of long sequence modeling. Our experiments on the LibriSpeech and VCTK datasets show that VALL-E 2 surpasses previous systems in speech robustness, naturalness, and speaker similarity. It is the first of its kind to reach human parity on these benchmarks. Moreover, VALL-E 2 consistently synthesizes high-quality speech, even for sentences that are traditionally challenging due to their complexity or repetitive phrases. The advantages of this work could contribute to valuable endeavors, such as generating speech for individuals with aphasia or people with amyotrophic lateral sclerosis. Demos of VALL-E 2 will be posted to https://aka.ms/valle2.