Дискретные аудиотокены: больше, чем просто обзор!

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Авторы: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Аннотация

Дискретные аудиотокены представляют собой компактные представления, которые направлены на сохранение перцептивного качества, фонетического содержания и характеристик говорящего, обеспечивая при этом эффективное хранение и вывод данных, а также конкурентоспособную производительность в различных последующих задачах. Они предоставляют практическую альтернативу непрерывным признакам, позволяя интегрировать речь и аудио в современные крупные языковые модели (LLM). По мере роста интереса к обработке аудио на основе токенов появились различные методы токенизации, и несколько обзоров рассмотрели последние достижения в этой области. Однако существующие исследования часто сосредоточены на конкретных областях или задачах и не предлагают единого сравнения на различных тестовых наборах. В данной статье представлен систематический обзор и сравнительный анализ дискретных аудиотокенизаторов, охватывающий три области: речь, музыку и общее аудио. Мы предлагаем таксономию подходов к токенизации, основанную на архитектуре кодировщик-декодировщик, методах квантования, парадигме обучения, потоковой обработке и областях применения. Мы оцениваем токенизаторы на нескольких тестовых наборах по параметрам восстановления, производительности в последующих задачах и акустического языкового моделирования, а также анализируем компромиссы с помощью контролируемых исследований абляции. Наши результаты подчеркивают ключевые ограничения, практические аспекты и открытые вызовы, предоставляя инсайты и рекомендации для будущих исследований в этой быстро развивающейся области. Для получения дополнительной информации, включая основные результаты и базу данных токенизаторов, посетите наш веб-сайт: https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.