Compressione Audio ad Alta Fedeltà con RVQGAN Migliorato

High-Fidelity Audio Compression with Improved RVQGAN

June 11, 2023

Autori: Rithesh Kumar, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, Kundan Kumar

cs.AI

Abstract

I modelli linguistici sono stati utilizzati con successo per modellare segnali naturali, come immagini, voce e musica. Un componente chiave di questi modelli è un algoritmo di compressione neurale di alta qualità in grado di comprimere segnali naturali ad alta dimensionalità in token discreti a dimensione inferiore. A tal fine, introduciamo un algoritmo universale di compressione neurale audio ad alta fedeltà che raggiunge una compressione di circa 90x di audio a 44,1 KHz in token con una banda di soli 8 kbps. Otteniamo questo risultato combinando progressi nella generazione audio ad alta fedeltà con tecniche di quantizzazione vettoriale migliorate provenienti dal dominio delle immagini, insieme a perdite avversarie e di ricostruzione ottimizzate. Comprimiamo tutti i domini (voce, ambiente, musica, ecc.) con un unico modello universale, rendendolo ampiamente applicabile alla modellazione generativa di qualsiasi tipo di audio. Confrontiamo il nostro metodo con altri algoritmi di compressione audio e riscontriamo che supera significativamente le alternative. Forniamo analisi dettagliate per ogni scelta progettuale, oltre a codice open-source e pesi del modello addestrato. Speriamo che il nostro lavoro possa gettare le basi per la prossima generazione di modellazione audio ad alta fedeltà.

English

Language models have been successfully used to model natural signals, such as images, speech, and music. A key component of these models is a high quality neural compression model that can compress high-dimensional natural signals into lower dimensional discrete tokens. To that end, we introduce a high-fidelity universal neural audio compression algorithm that achieves ~90x compression of 44.1 KHz audio into tokens at just 8kbps bandwidth. We achieve this by combining advances in high-fidelity audio generation with better vector quantization techniques from the image domain, along with improved adversarial and reconstruction losses. We compress all domains (speech, environment, music, etc.) with a single universal model, making it widely applicable to generative modeling of all audio. We compare with competing audio compression algorithms, and find our method outperforms them significantly. We provide thorough ablations for every design choice, as well as open-source code and trained model weights. We hope our work can lay the foundation for the next generation of high-fidelity audio modeling.