WavTokenizer: een efficiënte tokenizer voor akoestische discrete codecs voor audiotaalmodelering

WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling

August 29, 2024

Auteurs: Shengpeng Ji, Ziyue Jiang, Xize Cheng, Yifu Chen, Minghui Fang, Jialong Zuo, Qian Yang, Ruiqi Li, Ziang Zhang, Xiaoda Yang, Rongjie Huang, Yidi Jiang, Qian Chen, Siqi Zheng, Wen Wang, Zhou Zhao

cs.AI

Samenvatting

Taalmodelle zijn effectief toegepast voor het modelleren van natuurlijke signalen, zoals beelden, video, spraak en audio. Een cruciaal onderdeel van deze modellen is de codec-tokenizer, die hoogdimensionale natuurlijke signalen comprimeert tot lagerdimensionale discrete tokens. In dit artikel introduceren we WavTokenizer, dat verschillende voordelen biedt ten opzichte van eerdere state-of-the-art akoestische codec-modellen in het audiodomein: 1) extreme compressie. Door de lagen van quantizers en de temporele dimensie van de discrete codec te comprimeren, vereist één seconde audio met een samplefrequentie van 24 kHz slechts een enkele quantizer met 40 of 75 tokens. 2) verbeterde subjectieve kwaliteit. Ondanks het verminderde aantal tokens behaalt WavTokenizer state-of-the-art reconstructiekwaliteit met uitstekende UTMOS-scores en bevat het inherent rijkere semantische informatie. We bereiken deze resultaten specifiek door het ontwerpen van een bredere VQ-ruimte, uitgebreide contextuele vensters, verbeterde attention-netwerken, evenals de introductie van een krachtige multi-scale discriminator en een inverse Fourier-transformatiestructuur. We hebben uitgebreide reconstructie-experimenten uitgevoerd in de domeinen spraak, audio en muziek. WavTokenizer vertoonde sterke prestaties op diverse objectieve en subjectieve metrieken in vergelijking met state-of-the-art modellen. We testten ook semantische informatie, VQ-benutting en aanpassingsvermogen aan generatieve modellen. Uitgebreide ablatiestudies bevestigen de noodzaak van elke module in WavTokenizer. De gerelateerde code, demo's en vooraf getrainde modellen zijn beschikbaar op https://github.com/jishengpeng/WavTokenizer.

English

Language models have been effectively applied to modeling natural signals, such as images, video, speech, and audio. A crucial component of these models is the codec tokenizer, which compresses high-dimensional natural signals into lower-dimensional discrete tokens. In this paper, we introduce WavTokenizer, which offers several advantages over previous SOTA acoustic codec models in the audio domain: 1)extreme compression. By compressing the layers of quantizers and the temporal dimension of the discrete codec, one-second audio of 24kHz sampling rate requires only a single quantizer with 40 or 75 tokens. 2)improved subjective quality. Despite the reduced number of tokens, WavTokenizer achieves state-of-the-art reconstruction quality with outstanding UTMOS scores and inherently contains richer semantic information. Specifically, we achieve these results by designing a broader VQ space, extended contextual windows, and improved attention networks, as well as introducing a powerful multi-scale discriminator and an inverse Fourier transform structure. We conducted extensive reconstruction experiments in the domains of speech, audio, and music. WavTokenizer exhibited strong performance across various objective and subjective metrics compared to state-of-the-art models. We also tested semantic information, VQ utilization, and adaptability to generative models. Comprehensive ablation studies confirm the necessity of each module in WavTokenizer. The related code, demos, and pre-trained models are available at https://github.com/jishengpeng/WavTokenizer.