WavTokenizer: эффективный акустический дискретный кодировщик токенизатора для языкового моделирования аудио
WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling
August 29, 2024
Авторы: Shengpeng Ji, Ziyue Jiang, Xize Cheng, Yifu Chen, Minghui Fang, Jialong Zuo, Qian Yang, Ruiqi Li, Ziang Zhang, Xiaoda Yang, Rongjie Huang, Yidi Jiang, Qian Chen, Siqi Zheng, Wen Wang, Zhou Zhao
cs.AI
Аннотация
Языковые модели успешно применяются для моделирования естественных сигналов, таких как изображения, видео, речь и аудио. Ключевым компонентом этих моделей является токенизатор кодеков, который сжимает высокоразмерные естественные сигналы в низкоразмерные дискретные токены. В данной статье мы представляем WavTokenizer, который предлагает несколько преимуществ по сравнению с предыдущими моделями акустических кодеков в области аудио: 1) экстремальное сжатие. Благодаря сжатию слоев квантователей и временного измерения дискретного кодека, одна секунда аудио с частотой дискретизации 24 кГц требует всего одного квантователя с 40 или 75 токенами. 2) улучшенное субъективное качество. Несмотря на уменьшение количества токенов, WavTokenizer достигает наилучшего качества реконструкции с выдающимися показателями UTMOS и содержит более богатую семантическую информацию. В частности, мы достигаем этих результатов за счет проектирования более широкого пространства VQ, расширенных контекстных окон и улучшенных сетей внимания, а также введения мощного многомасштабного дискриминатора и структуры обратного преобразования Фурье. Мы провели обширные эксперименты по реконструкции в областях речи, аудио и музыки. WavTokenizer продемонстрировал высокую производительность по различным объективным и субъективным метрикам по сравнению с современными моделями. Мы также протестировали семантическую информацию, использование VQ и адаптивность к генеративным моделям. Комплексные исследования подтверждают необходимость каждого модуля в WavTokenizer. Связанный код, демонстрации и предварительно обученные модели доступны по адресу https://github.com/jishengpeng/WavTokenizer.
English
Language models have been effectively applied to modeling natural signals,
such as images, video, speech, and audio. A crucial component of these models
is the codec tokenizer, which compresses high-dimensional natural signals into
lower-dimensional discrete tokens. In this paper, we introduce WavTokenizer,
which offers several advantages over previous SOTA acoustic codec models in the
audio domain: 1)extreme compression. By compressing the layers of quantizers
and the temporal dimension of the discrete codec, one-second audio of 24kHz
sampling rate requires only a single quantizer with 40 or 75 tokens. 2)improved
subjective quality. Despite the reduced number of tokens, WavTokenizer achieves
state-of-the-art reconstruction quality with outstanding UTMOS scores and
inherently contains richer semantic information. Specifically, we achieve these
results by designing a broader VQ space, extended contextual windows, and
improved attention networks, as well as introducing a powerful multi-scale
discriminator and an inverse Fourier transform structure. We conducted
extensive reconstruction experiments in the domains of speech, audio, and
music. WavTokenizer exhibited strong performance across various objective and
subjective metrics compared to state-of-the-art models. We also tested semantic
information, VQ utilization, and adaptability to generative models.
Comprehensive ablation studies confirm the necessity of each module in
WavTokenizer. The related code, demos, and pre-trained models are available at
https://github.com/jishengpeng/WavTokenizer.