EVA-GAN: Generazione Audio Avanzata e Versatile tramite Reti Generative Adversarial Scalabili

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Autori: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Abstract

L'avvento dei Large Models segna una nuova era nel machine learning, superando significativamente i modelli più piccoli sfruttando vasti dataset per catturare e sintetizzare pattern complessi. Nonostante questi progressi, l'esplorazione del ridimensionamento, in particolare nel dominio della generazione audio, rimane limitata, con precedenti sforzi che non si sono estesi nel dominio ad alta fedeltà (HiFi) a 44,1 kHz e che hanno sofferto sia di discontinuità spettrali che di sfocature nel dominio delle alte frequenze, oltre a una mancanza di robustezza contro dati fuori dominio. Queste limitazioni restringono l'applicabilità dei modelli a diversi casi d'uso, inclusa la generazione di musica e canto. Il nostro lavoro introduce Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), che offre miglioramenti significativi rispetto allo stato dell'arte precedente nella ricostruzione spettrale e delle alte frequenze e nella robustezza delle prestazioni su dati fuori dominio, consentendo la generazione di audio HiFi impiegando un ampio dataset di 36.000 ore di audio a 44,1 kHz, un modulo context-aware, un toolkit Human-In-The-Loop per la misurazione degli artefatti e ampliando il modello a circa 200 milioni di parametri. Le dimostrazioni del nostro lavoro sono disponibili su https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.