LiveSpeech: Laaglatente Zero-shot Tekst-naar-Spraak via Autoregressieve Modellering van Audio Discrete Codes
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
June 5, 2024
Auteurs: Trung Dang, David Aponte, Dung Tran, Kazuhito Koishida
cs.AI
Samenvatting
Eerdere werken hebben zero-shot tekst-naar-spraak aangetoond door een generatief
taalmodel te gebruiken op audiokens die zijn verkregen via een neuraal audiocodec. Het blijft echter
uitdagend om deze aan te passen aan scenario's met lage latentie. In dit artikel presenteren we
LiveSpeech - een volledig autoregressieve aanpak op basis van een taalmodel voor
zero-shot tekst-naar-spraak, waardoor streaming van de uitvoeraudio met lage latentie mogelijk wordt.
Om meerdere tokenvoorspellingen binnen een enkele decoderingsstap mogelijk te maken, stellen we
(1) het gebruik van adaptieve codebookverliesgewichten voor die rekening houden met de bijdrage van het codebook in
elk frame en zich richten op moeilijke gevallen, en (2) het groeperen van codebooks en
het parallel verwerken van groepen. Experimenten tonen aan dat onze voorgestelde modellen competitieve resultaten behalen
ten opzichte van state-of-the-art baselines wat betreft nauwkeurigheid van de inhoud,
sprekerovereenkomst, audiokwaliteit en inferentiesnelheid, terwijl ze geschikt zijn voor
streamingtoepassingen met lage latentie.
English
Prior works have demonstrated zero-shot text-to-speech by using a generative
language model on audio tokens obtained via a neural audio codec. It is still
challenging, however, to adapt them to low-latency scenarios. In this paper, we
present LiveSpeech - a fully autoregressive language model-based approach for
zero-shot text-to-speech, enabling low-latency streaming of the output audio.
To allow multiple token prediction within a single decoding step, we propose
(1) using adaptive codebook loss weights that consider codebook contribution in
each frame and focus on hard instances, and (2) grouping codebooks and
processing groups in parallel. Experiments show our proposed models achieve
competitive results to state-of-the-art baselines in terms of content accuracy,
speaker similarity, audio quality, and inference speed while being suitable for
low-latency streaming applications.