Масштабирование трансформеров для кодирования речи высокого качества при низкой скорости передачи данных

Scaling Transformers for Low-Bitrate High-Quality Speech Coding

November 29, 2024

Авторы: Julian D Parker, Anton Smirnov, Jordi Pons, CJ Carr, Zack Zukowski, Zach Evans, Xubo Liu

cs.AI

Аннотация

Токенизация речи с использованием нейронных моделей аудиокодеков является важной частью современных технологий искусственного интеллекта для генерации или понимания речи, как в одномодальном, так и в мультимодальном контексте. Традиционно такие модели токенизации сосредотачивались на архитектурах с низким количеством параметров, используя только компоненты с сильными индуктивными свойствами. В данной работе мы показываем, что масштабирование архитектуры трансформера с большим количеством параметров для данной задачи, а также применение гибкого узкого места на основе конечной скалярной квантизации (FSQ), позволяет достичь качества речи на уровне передовых достижений при крайне низких битрейтах 400 или 700 бит в секунду. Обученные модели значительно превосходят существующие базовые уровни как в объективных, так и в субъективных тестах.

English

The tokenization of speech with neural audio codec models is a vital part of modern AI pipelines for the generation or understanding of speech, alone or in a multimodal context. Traditionally such tokenization models have concentrated on low parameter-count architectures using only components with strong inductive biases. In this work we show that by scaling a transformer architecture with large parameter count to this problem, and applying a flexible Finite Scalar Quantization (FSQ) based bottleneck, it is possible to reach state-of-the-art speech quality at extremely low bit-rates of 400 or 700 bits-per-second. The trained models strongly out-perform existing baselines in both objective and subjective tests.