EVA-GAN: Generación Mejorada de Audio Diverso mediante Redes Generativas Adversarias Escalables

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Autores: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Resumen

El advenimiento de los Modelos Grandes marca una nueva era en el aprendizaje automático, superando significativamente a los modelos más pequeños al aprovechar vastos conjuntos de datos para capturar y sintetizar patrones complejos. A pesar de estos avances, la exploración del escalamiento, especialmente en el dominio de la generación de audio, sigue siendo limitada, con esfuerzos previos que no se extendieron al dominio de alta fidelidad (HiFi) de 44.1 kHz y que sufrieron tanto discontinuidades espectrales como borrosidad en el dominio de alta frecuencia, junto con una falta de robustez frente a datos fuera del dominio. Estas limitaciones restringen la aplicabilidad de los modelos a diversos casos de uso, incluida la generación de música y canto. Nuestro trabajo introduce Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), que ofrece mejoras significativas sobre el estado del arte anterior en la reconstrucción espectral y de alta frecuencia, así como en la robustez frente a datos fuera del dominio, permitiendo la generación de audios HiFi mediante el empleo de un extenso conjunto de datos de 36,000 horas de audio a 44.1 kHz, un módulo consciente del contexto, un kit de herramientas de medición de artefactos con intervención humana (Human-In-The-Loop), y la expansión del modelo a aproximadamente 200 millones de parámetros. Las demostraciones de nuestro trabajo están disponibles en https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.