FlexiSLM: Модель устной речи с динамической и управляемой частотой кадров

Аннотация

Модели устной речи (SLM) расширяют большие языковые модели (LLM) на речевой ввод и вывод. Существующие SLM представляют речь с фиксированной частотой кадров (например, 25 или 12,5 Гц), игнорируя изменяющуюся во времени информационную плотность речи и не предоставляя гибкости для компромисса между качеством и скоростью на этапе инференса. Недавние исследования аудиотокенизаторов предложили динамическое кодирование речи с переменной частотой кадров, которое использует эту неравномерность и открывает две новые возможности: очень низкие средние частоты кадров и управляемость частотой кадров. Однако этот метод ещё не применялся в SLM. Мы представляем Flexible Spoken Language Model (FlexiSLM) — первую SLM, поддерживающую динамическую и управляемую частоту кадров как на речевом вводе, так и на выводе. Используя представления с динамической частотой кадров, FlexiSLM превосходит модели с фиксированной частотой кадров размером 7B, включая Qwen2.5-Omni и Kimi-Audio, на своих высококачественных рабочих точках. Мы также подтверждаем, что FlexiSLM может быть точно настроена на частоту до 4,0 Гц; при 6,25 Гц время инференса сокращается примерно вдвое по сравнению с 12,5 Гц, при этом сохраняется высокое качество преобразования речи в речь. Аудиопримеры доступны по адресу https://flexislm.github.io .

English

Spoken language models (SLMs) extend LLMs to speech input and output. Existing SLMs represent speech at fixed frame rates (e.g., 25 or 12.5 Hz), ignoring the time-varying information density of speech and offering no flexibility to trade off quality for speed at inference time. Recent audio tokenizer research has proposed dynamic frame rate speech coding, which exploits this non-uniformity and enables two new capabilities: very low average frame rates and frame rate controllability. However, this technique has not yet been applied to SLMs. We introduce Flexible Spoken Language Model (FlexiSLM), the first SLM that supports dynamic and controllable frame rates on both speech input and output. Using dynamic frame rate representations, FlexiSLM outperforms fixed-frame-rate 7B models including Qwen2.5-Omni and Kimi-Audio at its high-quality operating points. We further verify that FlexiSLM can be accurately steered down to 4.0 Hz; at 6.25 Hz, it roughly halves inference time relative to 12.5 Hz while retaining strong speech-to-speech quality. Audio samples are available at https://flexislm.github.io .