EVA-GAN : Génération Audio Améliorée et Variée via des Réseaux Génératifs Antagonistes Évolutifs

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Auteurs: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Résumé

L'avènement des grands modèles marque une nouvelle ère dans l'apprentissage automatique, surpassant de manière significative les modèles plus petits en exploitant de vastes ensembles de données pour capturer et synthétiser des motifs complexes. Malgré ces avancées, l'exploration de la mise à l'échelle, en particulier dans le domaine de la génération audio, reste limitée, les efforts précédents ne s'étendant pas au domaine haute-fidélité (HiFi) de 44,1 kHz et souffrant à la fois de discontinuités spectrales et de flou dans le domaine des hautes fréquences, ainsi que d'un manque de robustesse face aux données hors domaine. Ces limitations restreignent l'applicabilité des modèles à divers cas d'utilisation, y compris la génération de musique et de chant. Notre travail introduit Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), qui apporte des améliorations significatives par rapport à l'état de l'art précédent en matière de reconstruction spectrale et des hautes fréquences, ainsi que de robustesse face aux données hors domaine, permettant la génération d'audios HiFi en utilisant un vaste ensemble de données de 36 000 heures d'audio à 44,1 kHz, un module contextuel, un kit de mesure des artefacts Human-In-The-Loop, et en étendant le modèle à environ 200 millions de paramètres. Des démonstrations de notre travail sont disponibles à l'adresse https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.