WavTokenizer: um Tokenizador de Código Discreto Acústico Eficiente para Modelagem de Linguagem de Áudio

WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling

August 29, 2024

Autores: Shengpeng Ji, Ziyue Jiang, Xize Cheng, Yifu Chen, Minghui Fang, Jialong Zuo, Qian Yang, Ruiqi Li, Ziang Zhang, Xiaoda Yang, Rongjie Huang, Yidi Jiang, Qian Chen, Siqi Zheng, Wen Wang, Zhou Zhao

cs.AI

Resumo

Os modelos de linguagem têm sido aplicados com eficácia na modelagem de sinais naturais, como imagens, vídeo, fala e áudio. Um componente crucial desses modelos é o tokenizador codec, que comprime sinais naturais de alta dimensão em tokens discretos de dimensão inferior. Neste artigo, apresentamos o WavTokenizer, que oferece várias vantagens sobre os modelos de codec acústico SOTA anteriores no domínio do áudio: 1) compressão extrema. Ao comprimir as camadas de quantizadores e a dimensão temporal do codec discreto, um segundo de áudio com taxa de amostragem de 24kHz requer apenas um único quantizador com 40 ou 75 tokens. 2) qualidade subjetiva aprimorada. Apesar do número reduzido de tokens, o WavTokenizer alcança qualidade de reconstrução state-of-the-art com excelentes pontuações UTMOS e contém inerentemente informações semânticas mais ricas. Especificamente, alcançamos esses resultados projetando um espaço VQ mais amplo, janelas contextuais estendidas e redes de atenção melhoradas, além de introduzir um discriminador multiescala poderoso e uma estrutura de transformada inversa de Fourier. Realizamos extensos experimentos de reconstrução nos domínios de fala, áudio e música. O WavTokenizer exibiu desempenho sólido em várias métricas objetivas e subjetivas em comparação com modelos state-of-the-art. Também testamos informações semânticas, utilização de VQ e adaptabilidade a modelos generativos. Estudos de ablação abrangentes confirmam a necessidade de cada módulo no WavTokenizer. O código, demonstrações e modelos pré-treinados relacionados estão disponíveis em https://github.com/jishengpeng/WavTokenizer.

English

Language models have been effectively applied to modeling natural signals, such as images, video, speech, and audio. A crucial component of these models is the codec tokenizer, which compresses high-dimensional natural signals into lower-dimensional discrete tokens. In this paper, we introduce WavTokenizer, which offers several advantages over previous SOTA acoustic codec models in the audio domain: 1)extreme compression. By compressing the layers of quantizers and the temporal dimension of the discrete codec, one-second audio of 24kHz sampling rate requires only a single quantizer with 40 or 75 tokens. 2)improved subjective quality. Despite the reduced number of tokens, WavTokenizer achieves state-of-the-art reconstruction quality with outstanding UTMOS scores and inherently contains richer semantic information. Specifically, we achieve these results by designing a broader VQ space, extended contextual windows, and improved attention networks, as well as introducing a powerful multi-scale discriminator and an inverse Fourier transform structure. We conducted extensive reconstruction experiments in the domains of speech, audio, and music. WavTokenizer exhibited strong performance across various objective and subjective metrics compared to state-of-the-art models. We also tested semantic information, VQ utilization, and adaptability to generative models. Comprehensive ablation studies confirm the necessity of each module in WavTokenizer. The related code, demos, and pre-trained models are available at https://github.com/jishengpeng/WavTokenizer.