Gemaskte Audiogeneratie met een enkele niet-autoregressieve Transformer

Samenvatting

We introduceren MAGNeT, een gemaskeerde generatieve sequentiemodelleringmethode die rechtstreeks werkt over meerdere stromen van audiotokens. In tegenstelling tot eerder werk bestaat MAGNeT uit een transformer met één fase die niet-autoregressief is. Tijdens de training voorspellen we reeksen gemaskeerde tokens die zijn verkregen uit een maskeringsschema, terwijl we tijdens de inferentie de uitvoervolgorde geleidelijk opbouwen met behulp van verschillende decodeerstappen. Om de kwaliteit van de gegenereerde audio verder te verbeteren, introduceren we een nieuwe herscoremethode waarbij we een extern voorgetraind model gebruiken om voorspellingen van MAGNeT te herscoren en te rangschikken, die vervolgens worden gebruikt voor latere decodeerstappen. Ten slotte onderzoeken we een hybride versie van MAGNeT, waarbij we een combinatie maken van autoregressieve en niet-autoregressieve modellen om de eerste paar seconden op een autoregressieve manier te genereren, terwijl de rest van de sequentie parallel wordt gedecodeerd. We demonstreren de efficiëntie van MAGNeT voor de taken tekst-naar-muziek en tekst-naar-audiogeneratie en voeren een uitgebreide empirische evaluatie uit, waarbij we zowel objectieve metrieken als menselijke studies in overweging nemen. De voorgestelde aanpak is vergelijkbaar met de geëvalueerde baselines, terwijl deze aanzienlijk sneller is (7x sneller dan de autoregressieve baseline). Door middel van ablatiestudies en analyse belichten we het belang van elk van de componenten waaruit MAGNeT bestaat, samen met het wijzen op de afwegingen tussen autoregressieve en niet-autoregressieve modellering, waarbij we rekening houden met latentie, doorvoer en generatiekwaliteit. Voorbeelden zijn beschikbaar op onze demopagina https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.

English

We introduce MAGNeT, a masked generative sequence modeling method that operates directly over several streams of audio tokens. Unlike prior work, MAGNeT is comprised of a single-stage, non-autoregressive transformer. During training, we predict spans of masked tokens obtained from a masking scheduler, while during inference we gradually construct the output sequence using several decoding steps. To further enhance the quality of the generated audio, we introduce a novel rescoring method in which, we leverage an external pre-trained model to rescore and rank predictions from MAGNeT, which will be then used for later decoding steps. Lastly, we explore a hybrid version of MAGNeT, in which we fuse between autoregressive and non-autoregressive models to generate the first few seconds in an autoregressive manner while the rest of the sequence is being decoded in parallel. We demonstrate the efficiency of MAGNeT for the task of text-to-music and text-to-audio generation and conduct an extensive empirical evaluation, considering both objective metrics and human studies. The proposed approach is comparable to the evaluated baselines, while being significantly faster (x7 faster than the autoregressive baseline). Through ablation studies and analysis, we shed light on the importance of each of the components comprising MAGNeT, together with pointing to the trade-offs between autoregressive and non-autoregressive modeling, considering latency, throughput, and generation quality. Samples are available on our demo page https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT.

Gemaskte Audiogeneratie met een enkele niet-autoregressieve Transformer

Masked Audio Generation using a Single Non-Autoregressive Transformer

Samenvatting

Support