EVA-GAN: Verbesserte vielfältige Audio-Generierung durch skalierbare Generative Adversarial Networks

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Autoren: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Zusammenfassung

Das Aufkommen von Large Models markiert eine neue Ära im maschinellen Lernen, da sie durch die Nutzung umfangreicher Datensätze deutlich bessere Leistungen erzielen als kleinere Modelle, um komplexe Muster zu erfassen und zu synthetisieren. Trotz dieser Fortschritte ist die Erforschung der Skalierung, insbesondere im Bereich der Audiogenerierung, noch begrenzt. Bisherige Ansätze erreichten nicht den Bereich der hochauflösenden (HiFi) 44,1 kHz und litten sowohl unter spektralen Diskontinuitäten als auch unter Unschärfen im Hochfrequenzbereich sowie unter einer mangelnden Robustheit gegenüber Daten außerhalb des Trainingsbereichs. Diese Einschränkungen begrenzen die Anwendbarkeit der Modelle auf verschiedene Anwendungsfälle, einschließlich der Musik- und Gesangsgenerierung. Unsere Arbeit stellt Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN) vor, das signifikante Verbesserungen gegenüber dem bisherigen Stand der Technik in Bezug auf die spektrale und hochfrequente Rekonstruktion sowie die Robustheit bei der Verarbeitung von Daten außerhalb des Trainingsbereichs bietet. Dies ermöglicht die Generierung von HiFi-Audios durch den Einsatz eines umfangreichen Datensatzes von 36.000 Stunden 44,1 kHz-Audio, eines kontextbewussten Moduls, eines Human-In-The-Loop-Toolkits zur Artefaktmessung und die Erweiterung des Modells auf etwa 200 Millionen Parameter. Demonstrationen unserer Arbeit sind unter https://double-blind-eva-gan.cc verfügbar.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.