SoundStorm: Efficiënte Parallelle Audiogeneratie
SoundStorm: Efficient Parallel Audio Generation
May 16, 2023
Auteurs: Zalán Borsos, Matt Sharifi, Damien Vincent, Eugene Kharitonov, Neil Zeghidour, Marco Tagliasacchi
cs.AI
Samenvatting
We presenteren SoundStorm, een model voor efficiënte, niet-autoregressieve audiogeneratie. SoundStorm ontvangt als invoer de semantische tokens van AudioLM en maakt gebruik van bidirectionele aandacht en parallelle decodering op basis van vertrouwen om de tokens van een neurale audiocodec te genereren. In vergelijking met de autoregressieve generatiebenadering van AudioLM produceert ons model audio van dezelfde kwaliteit en met een hogere consistentie in stem en akoestische omstandigheden, terwijl het twee ordes van grootte sneller is. SoundStorm genereert 30 seconden audio in 0,5 seconden op een TPU-v4. We demonstreren het vermogen van ons model om audiogeneratie naar langere sequenties op te schalen door hoogwaardige, natuurlijke dialoogsegmenten te synthetiseren, gegeven een transcript geannoteerd met sprekerwisselingen en een korte prompt met de stemmen van de sprekers.
English
We present SoundStorm, a model for efficient, non-autoregressive audio
generation. SoundStorm receives as input the semantic tokens of AudioLM, and
relies on bidirectional attention and confidence-based parallel decoding to
generate the tokens of a neural audio codec. Compared to the autoregressive
generation approach of AudioLM, our model produces audio of the same quality
and with higher consistency in voice and acoustic conditions, while being two
orders of magnitude faster. SoundStorm generates 30 seconds of audio in 0.5
seconds on a TPU-v4. We demonstrate the ability of our model to scale audio
generation to longer sequences by synthesizing high-quality, natural dialogue
segments, given a transcript annotated with speaker turns and a short prompt
with the speakers' voices.