EVA-GAN: Geração Aprimorada de Áudio Diversificado por meio de Redes Adversariais Generativas Escaláveis

EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks

January 31, 2024

Autores: Shijia Liao, Shiyi Lan, Arun George Zachariah

cs.AI

Resumo

O advento dos Modelos de Grande Escala marca uma nova era no aprendizado de máquina, superando significativamente modelos menores ao aproveitar vastos conjuntos de dados para capturar e sintetizar padrões complexos. Apesar desses avanços, a exploração do escalonamento, especialmente no domínio da geração de áudio, permanece limitada, com esforços anteriores não se estendendo ao domínio de alta fidelidade (HiFi) de 44,1 kHz e sofrendo tanto com descontinuidades espectrais quanto com borrões no domínio de alta frequência, além de uma falta de robustez contra dados fora do domínio. Essas limitações restringem a aplicabilidade dos modelos a diversos casos de uso, incluindo a geração de música e canto. Nosso trabalho introduz a Geração Aprimorada de Áudio Variado por meio de Redes Generativas Adversariais Escaláveis (EVA-GAN), que proporciona melhorias significativas em relação ao estado da arte anterior na reconstrução espectral e de alta frequência, bem como na robustez do desempenho com dados fora do domínio, permitindo a geração de áudios HiFi ao empregar um extenso conjunto de dados de 36.000 horas de áudio em 44,1 kHz, um módulo sensível ao contexto, um kit de ferramentas de medição de artefatos com Humanos no Loop, e expandindo o modelo para aproximadamente 200 milhões de parâmetros. Demonstrações do nosso trabalho estão disponíveis em https://double-blind-eva-gan.cc.

English

The advent of Large Models marks a new era in machine learning, significantly outperforming smaller models by leveraging vast datasets to capture and synthesize complex patterns. Despite these advancements, the exploration into scaling, especially in the audio generation domain, remains limited, with previous efforts didn't extend into the high-fidelity (HiFi) 44.1kHz domain and suffering from both spectral discontinuities and blurriness in the high-frequency domain, alongside a lack of robustness against out-of-domain data. These limitations restrict the applicability of models to diverse use cases, including music and singing generation. Our work introduces Enhanced Various Audio Generation via Scalable Generative Adversarial Networks (EVA-GAN), yields significant improvements over previous state-of-the-art in spectral and high-frequency reconstruction and robustness in out-of-domain data performance, enabling the generation of HiFi audios by employing an extensive dataset of 36,000 hours of 44.1kHz audio, a context-aware module, a Human-In-The-Loop artifact measurement toolkit, and expands the model to approximately 200 million parameters. Demonstrations of our work are available at https://double-blind-eva-gan.cc.