EVA-GAN: Улучшенная генерация разнообразных аудиоданных с использованием масштабируемых генеративно-состязательных сетей

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Авторы: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Аннотация

Появление крупных моделей знаменует новую эру в машинном обучении, значительно превосходя более мелкие модели за счет использования обширных наборов данных для захвата и синтеза сложных закономерностей. Несмотря на эти достижения, исследования в области масштабирования, особенно в области генерации аудио, остаются ограниченными: предыдущие работы не выходили в область высококачественного (HiFi) звука с частотой 44,1 кГц и страдали как от спектральных разрывов, так и от размытости в высокочастотной области, а также от недостаточной устойчивости к данным, выходящим за пределы обучающего распределения. Эти ограничения сужают применимость моделей для различных задач, включая генерацию музыки и вокала. Наша работа представляет Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), которая демонстрирует значительные улучшения по сравнению с предыдущими передовыми методами в области спектральной и высокочастотной реконструкции, а также в устойчивости к данным, выходящим за пределы обучающего распределения. Это позволяет генерировать HiFi-аудио с использованием обширного набора данных объемом 36 000 часов аудио с частотой 44,1 кГц, контекстно-зависимого модуля, инструментария для измерения артефактов с участием человека (Human-In-The-Loop) и расширения модели до примерно 200 миллионов параметров. Демонстрации нашей работы доступны по адресу https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.