Skalierung von Transformatoren für die Codierung von Sprache mit niedriger Bitrate und hoher Qualität

Scaling Transformers for Low-Bitrate High-Quality Speech Coding

November 29, 2024

Autoren: Julian D Parker, Anton Smirnov, Jordi Pons, CJ Carr, Zack Zukowski, Zach Evans, Xubo Liu

cs.AI

Zusammenfassung

Die Tokenisierung von Sprache mit neuronalen Audiocodec-Modellen ist ein wesentlicher Bestandteil moderner KI-Pipelines zur Generierung oder zum Verständnis von Sprache, allein oder in einem multimodalen Kontext. Traditionell haben solche Tokenisierungsmodelle auf Architekturen mit niedriger Parameteranzahl gesetzt, die nur Komponenten mit starken induktiven Verzerrungen verwenden. In dieser Arbeit zeigen wir, dass es durch Skalierung einer Transformer-Architektur mit großer Parameteranzahl für dieses Problem und die Anwendung eines flexiblen Bottlenecks auf Basis der Finite Scalar Quantization (FSQ) möglich ist, eine Spitzenqualität der Sprache bei extrem niedrigen Bitraten von 400 oder 700 Bits pro Sekunde zu erreichen. Die trainierten Modelle übertreffen bestehende Baselines deutlich sowohl in objektiven als auch in subjektiven Tests.

English

The tokenization of speech with neural audio codec models is a vital part of modern AI pipelines for the generation or understanding of speech, alone or in a multimodal context. Traditionally such tokenization models have concentrated on low parameter-count architectures using only components with strong inductive biases. In this work we show that by scaling a transformer architecture with large parameter count to this problem, and applying a flexible Finite Scalar Quantization (FSQ) based bottleneck, it is possible to reach state-of-the-art speech quality at extremely low bit-rates of 400 or 700 bits-per-second. The trained models strongly out-perform existing baselines in both objective and subjective tests.