Hoogwaardige audiocompressie met verbeterde RVQGAN

High-Fidelity Audio Compression with Improved RVQGAN

June 11, 2023

Auteurs: Rithesh Kumar, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, Kundan Kumar

cs.AI

Samenvatting

Taalmodellen zijn met succes gebruikt om natuurlijke signalen te modelleren, zoals afbeeldingen, spraak en muziek. Een belangrijk onderdeel van deze modellen is een hoogwaardig neuraal compressiemodel dat hoogdimensionale natuurlijke signalen kan comprimeren tot lagere-dimensionale discrete tokens. Hiertoe introduceren we een hoogwaardig universeel neuraal audiocompressie-algoritme dat een compressie van ~90x bereikt van 44,1 KHz audio naar tokens met slechts 8 kbps bandbreedte. We bereiken dit door vooruitgang in hoogwaardige audiogeneratie te combineren met betere vectorquantisatietechnieken uit het beelddomein, samen met verbeterde adversariële en reconstructieverliezen. We comprimeren alle domeinen (spraak, omgeving, muziek, enz.) met een enkel universeel model, waardoor het breed toepasbaar is voor generatieve modellering van alle audio. We vergelijken ons met concurrerende audiocompressie-algoritmen en constateren dat onze methode hen aanzienlijk overtreft. We bieden grondige ablatiestudies voor elke ontwerpkeuze, evenals open-source code en getrainde modelgewichten. We hopen dat ons werk de basis kan leggen voor de volgende generatie van hoogwaardige audiomodellering.

English

Language models have been successfully used to model natural signals, such as images, speech, and music. A key component of these models is a high quality neural compression model that can compress high-dimensional natural signals into lower dimensional discrete tokens. To that end, we introduce a high-fidelity universal neural audio compression algorithm that achieves ~90x compression of 44.1 KHz audio into tokens at just 8kbps bandwidth. We achieve this by combining advances in high-fidelity audio generation with better vector quantization techniques from the image domain, along with improved adversarial and reconstruction losses. We compress all domains (speech, environment, music, etc.) with a single universal model, making it widely applicable to generative modeling of all audio. We compare with competing audio compression algorithms, and find our method outperforms them significantly. We provide thorough ablations for every design choice, as well as open-source code and trained model weights. We hope our work can lay the foundation for the next generation of high-fidelity audio modeling.