Diskrete Audio-Tokens: Mehr als nur eine Übersicht!

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Autoren: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Zusammenfassung

Diskrete Audio-Token sind kompakte Darstellungen, die darauf abzielen, die wahrgenommene Qualität, den phonetischen Inhalt und die Sprechermerkmale zu bewahren, während sie gleichzeitig eine effiziente Speicherung und Inferenz sowie eine wettbewerbsfähige Leistung über verschiedene nachgelagerte Aufgaben hinweg ermöglichen. Sie bieten eine praktische Alternative zu kontinuierlichen Merkmalen und ermöglichen die Integration von Sprache und Audio in moderne große Sprachmodelle (LLMs). Mit dem wachsenden Interesse an token-basierter Audioverarbeitung sind verschiedene Tokenisierungsmethoden entstanden, und mehrere Übersichtsarbeiten haben die neuesten Fortschritte auf diesem Gebiet zusammengefasst. Bestehende Studien konzentrieren sich jedoch oft auf spezifische Domänen oder Aufgaben und fehlt ein einheitlicher Vergleich über verschiedene Benchmarks hinweg. Diese Arbeit präsentiert eine systematische Übersicht und einen Benchmark von diskreten Audio-Tokenizern, die drei Domänen abdecken: Sprache, Musik und allgemeines Audio. Wir schlagen eine Taxonomie von Tokenisierungsansätzen vor, die auf Encoder-Decoder, Quantisierungstechniken, Trainingsparadigma, Streamability und Anwendungsdomänen basiert. Wir bewerten Tokenizer anhand mehrerer Benchmarks für Rekonstruktion, nachgelagerte Leistung und akustische Sprachmodellierung und analysieren Kompromisse durch kontrollierte Ablationsstudien. Unsere Ergebnisse heben wichtige Einschränkungen, praktische Überlegungen und offene Herausforderungen hervor und bieten Einblicke und Leitlinien für zukünftige Forschungen in diesem sich schnell entwickelnden Bereich. Für weitere Informationen, einschließlich unserer Hauptergebnisse und der Tokenizer-Datenbank, besuchen Sie bitte unsere Website: https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.