EVA-GAN: Verbeterde Generatie van Diverse Audio via Schaalbare Generatieve Adversariële Netwerken

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Auteurs: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Samenvatting

De opkomst van Large Models markeert een nieuw tijdperk in machine learning, waarbij ze aanzienlijk beter presteren dan kleinere modellen door gebruik te maken van enorme datasets om complexe patronen vast te leggen en te synthetiseren. Ondanks deze vooruitgang blijft het onderzoek naar schaalvergroting, met name op het gebied van audiogeneratie, beperkt. Eerdere inspanningen reikten niet tot het high-fidelity (HiFi) 44.1kHz-domein en leden zowel onder spectrale discontinuïteiten als vervaging in het hoogfrequente domein, naast een gebrek aan robuustheid tegenover out-of-domain data. Deze beperkingen beperken de toepasbaarheid van modellen voor diverse use cases, waaronder muziek- en zanggeneratie. Ons werk introduceert Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), wat aanzienlijke verbeteringen oplevert ten opzichte van de vorige state-of-the-art op het gebied van spectrale en hoogfrequente reconstructie en robuustheid in out-of-domain data-prestaties. HiFi-audio's kunnen worden gegenereerd door gebruik te maken van een uitgebreide dataset van 36.000 uur aan 44.1kHz-audio, een contextbewuste module, een Human-In-The-Loop artifact-meetgereedschap en het uitbreiden van het model tot ongeveer 200 miljoen parameters. Demonstraties van ons werk zijn beschikbaar op https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.