FlexiSLM: 동적이고 제어 가능한 프레임 레이트 음성 언어 모델

초록

음성 언어 모델(SLM)은 대규모 언어 모델(LLM)을 음성 입력 및 출력으로 확장한다. 기존 SLM은 음성을 고정 프레임 속도(예: 25Hz 또는 12.5Hz)로 표현하여 음성의 시간에 따라 변하는 정보 밀도를 무시하고, 추론 시 품질과 속도를 절충할 수 있는 유연성을 제공하지 않는다. 최근 오디오 토크나이저 연구에서는 이러한 비균일성을 활용하여 매우 낮은 평균 프레임 속도와 프레임 속도 제어 가능성이라는 두 가지 새로운 기능을 가능하게 하는 동적 프레임 속도 음성 코딩을 제안했다. 그러나 이 기술은 아직 SLM에 적용되지 않았다. 본 논문에서는 음성 입력과 출력 모두에서 동적이고 제어 가능한 프레임 속도를 지원하는 최초의 SLM인 FlexiSLM(Flexible Spoken Language Model)을 소개한다. 동적 프레임 속도 표현을 사용하여 FlexiSLM은 높은 품질의 작동 지점에서 Qwen2.5-Omni 및 Kimi-Audio를 포함한 고정 프레임 속도의 7B 모델보다 성능이 뛰어나다. 또한 FlexiSLM을 4.0Hz까지 정확하게 제어할 수 있음을 확인했다. 6.25Hz에서는 12.5Hz에 비해 추론 시간을 대략 절반으로 줄이면서도 강력한 음성 간 음질을 유지한다. 오디오 샘플은 https://flexislm.github.io 에서 확인할 수 있다.

English

Spoken language models (SLMs) extend LLMs to speech input and output. Existing SLMs represent speech at fixed frame rates (e.g., 25 or 12.5 Hz), ignoring the time-varying information density of speech and offering no flexibility to trade off quality for speed at inference time. Recent audio tokenizer research has proposed dynamic frame rate speech coding, which exploits this non-uniformity and enables two new capabilities: very low average frame rates and frame rate controllability. However, this technique has not yet been applied to SLMs. We introduce Flexible Spoken Language Model (FlexiSLM), the first SLM that supports dynamic and controllable frame rates on both speech input and output. Using dynamic frame rate representations, FlexiSLM outperforms fixed-frame-rate 7B models including Qwen2.5-Omni and Kimi-Audio at its high-quality operating points. We further verify that FlexiSLM can be accurately steered down to 4.0 Hz; at 6.25 Hz, it roughly halves inference time relative to 12.5 Hz while retaining strong speech-to-speech quality. Audio samples are available at https://flexislm.github.io .