MagiCodec: Простой кодек с инжекцией маскированного гауссовского шума для высококачественной реконструкции и генерации

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Авторы: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Аннотация

Нейронные аудиокодеки достигли значительных успехов в эффективном преобразовании исходных аудиоволн в дискретные токенные представления, что является основой для современных генеративных моделей аудио. Однако большинство существующих кодеков оптимизированы в первую очередь для качества реконструкции, часто в ущерб пригодности закодированных токенов для последующего моделирования. Стремясь преодолеть это ограничение, мы представляем MagiCodec — новый однослойный потоковый аудиокодек на основе трансформеров. MagiCodec разработан с использованием многоэтапного процесса обучения, включающего инъекцию гауссовского шума и регуляризацию латентного пространства, что явно направлено на повышение семантической выразительности генерируемых кодов при сохранении высокой точности реконструкции. Мы аналитически выводим эффект инъекции шума в частотной области, демонстрируя его эффективность в ослаблении высокочастотных компонентов и обеспечении устойчивой токенизации. Многочисленные экспериментальные оценки показывают, что MagiCodec превосходит современные кодеки как по качеству реконструкции, так и по результатам в последующих задачах. Примечательно, что токены, созданные MagiCodec, демонстрируют распределения, подобные закону Ципфа, что наблюдается в естественных языках, тем самым улучшая совместимость с генеративными архитектурами на основе языковых моделей. Код и предобученные модели доступны по адресу https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.