Высококачественное сжатие аудио с улучшенным RVQGAN
High-Fidelity Audio Compression with Improved RVQGAN
June 11, 2023
Авторы: Rithesh Kumar, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, Kundan Kumar
cs.AI
Аннотация
Языковые модели успешно применяются для моделирования естественных сигналов, таких как изображения, речь и музыка. Ключевым компонентом этих моделей является высококачественная нейронная модель сжатия, способная преобразовывать высокоразмерные естественные сигналы в низкоразмерные дискретные токены. В этой работе мы представляем универсальный нейронный алгоритм сжатия аудио с высокой точностью, который достигает сжатия аудио с частотой 44,1 кГц в ~90 раз при использовании полосы пропускания всего 8 кбит/с. Мы добиваемся этого, объединяя достижения в области генерации аудио высокой точности с улучшенными методами векторного квантования из области обработки изображений, а также с усовершенствованными функциями потерь для реконструкции и состязательного обучения. Мы сжимаем все типы аудио (речь, окружающие звуки, музыку и т.д.) с помощью единой универсальной модели, что делает её широко применимой для генеративного моделирования любого аудио. Мы сравниваем наш метод с конкурирующими алгоритмами сжатия аудио и обнаруживаем, что он значительно превосходит их. Мы предоставляем подробный анализ каждого этапа разработки, а также открытый исходный код и веса обученной модели. Мы надеемся, что наша работа заложит основу для следующего поколения моделей аудио высокой точности.
English
Language models have been successfully used to model natural signals, such as
images, speech, and music. A key component of these models is a high quality
neural compression model that can compress high-dimensional natural signals
into lower dimensional discrete tokens. To that end, we introduce a
high-fidelity universal neural audio compression algorithm that achieves ~90x
compression of 44.1 KHz audio into tokens at just 8kbps bandwidth. We achieve
this by combining advances in high-fidelity audio generation with better vector
quantization techniques from the image domain, along with improved adversarial
and reconstruction losses. We compress all domains (speech, environment, music,
etc.) with a single universal model, making it widely applicable to generative
modeling of all audio. We compare with competing audio compression algorithms,
and find our method outperforms them significantly. We provide thorough
ablations for every design choice, as well as open-source code and trained
model weights. We hope our work can lay the foundation for the next generation
of high-fidelity audio modeling.