Compressão de Áudio de Alta Fidelidade com RVQGAN Aprimorado
High-Fidelity Audio Compression with Improved RVQGAN
June 11, 2023
Autores: Rithesh Kumar, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, Kundan Kumar
cs.AI
Resumo
Modelos de linguagem têm sido utilizados com sucesso para modelar sinais naturais, como imagens, fala e música. Um componente essencial desses modelos é um algoritmo de compressão neural de alta qualidade capaz de comprimir sinais naturais de alta dimensionalidade em tokens discretos de menor dimensionalidade. Para isso, introduzimos um algoritmo universal de compressão neural de áudio de alta fidelidade que alcança uma compressão de ~90x de áudio a 44,1 KHz em tokens com uma taxa de apenas 8 kbps. Isso é obtido combinando avanços na geração de áudio de alta fidelidade com técnicas aprimoradas de quantização vetorial do domínio de imagens, além de melhorias nas funções de perda adversarial e de reconstrução. Comprimimos todos os domínios (fala, ambiente, música, etc.) com um único modelo universal, tornando-o amplamente aplicável à modelagem generativa de qualquer tipo de áudio. Comparamos nosso método com algoritmos concorrentes de compressão de áudio e constatamos que ele supera significativamente os demais. Fornecemos análises detalhadas para cada escolha de projeto, além de código aberto e pesos de modelos treinados. Esperamos que nosso trabalho possa estabelecer as bases para a próxima geração de modelagem de áudio de alta fidelidade.
English
Language models have been successfully used to model natural signals, such as
images, speech, and music. A key component of these models is a high quality
neural compression model that can compress high-dimensional natural signals
into lower dimensional discrete tokens. To that end, we introduce a
high-fidelity universal neural audio compression algorithm that achieves ~90x
compression of 44.1 KHz audio into tokens at just 8kbps bandwidth. We achieve
this by combining advances in high-fidelity audio generation with better vector
quantization techniques from the image domain, along with improved adversarial
and reconstruction losses. We compress all domains (speech, environment, music,
etc.) with a single universal model, making it widely applicable to generative
modeling of all audio. We compare with competing audio compression algorithms,
and find our method outperforms them significantly. We provide thorough
ablations for every design choice, as well as open-source code and trained
model weights. We hope our work can lay the foundation for the next generation
of high-fidelity audio modeling.