FlexiSLM : un modèle de langage parlé à taux de trames dynamique et contrôlable

Résumé

Les modèles de langage parlé (SLM) étendent les LLM à l'entrée et à la sortie de la parole. Les SLM existants représentent la parole à des fréquences de trame fixes (par exemple, 25 ou 12,5 Hz), ignorant la densité d'information variable dans le temps de la parole et n'offrant aucune flexibilité pour compromettre la qualité au profit de la vitesse lors de l'inférence. Des recherches récentes sur les tokeniseurs audio ont proposé un codage de la parole à fréquence de trame dynamique, qui exploite cette non-uniformité et permet deux nouvelles capacités : des fréquences de trame moyennes très faibles et la contrôlabilité de la fréquence de trame. Cependant, cette technique n'a pas encore été appliquée aux SLM. Nous présentons Flexible Spoken Language Model (FlexiSLM), le premier SLM qui prend en charge des fréquences de trame dynamiques et contrôlables à la fois pour l'entrée et la sortie de la parole. En utilisant des représentations à fréquence de trame dynamique, FlexiSLM surpasse les modèles 7B à fréquence de trame fixe, notamment Qwen2.5-Omni et Kimi-Audio, à ses points de fonctionnement de haute qualité. Nous vérifions également que FlexiSLM peut être précisément orienté jusqu'à 4,0 Hz ; à 6,25 Hz, il réduit d'environ la moitié le temps d'inférence par rapport à 12,5 Hz tout en conservant une bonne qualité de parole à parole. Des échantillons audio sont disponibles sur https://flexislm.github.io .

English

Spoken language models (SLMs) extend LLMs to speech input and output. Existing SLMs represent speech at fixed frame rates (e.g., 25 or 12.5 Hz), ignoring the time-varying information density of speech and offering no flexibility to trade off quality for speed at inference time. Recent audio tokenizer research has proposed dynamic frame rate speech coding, which exploits this non-uniformity and enables two new capabilities: very low average frame rates and frame rate controllability. However, this technique has not yet been applied to SLMs. We introduce Flexible Spoken Language Model (FlexiSLM), the first SLM that supports dynamic and controllable frame rates on both speech input and output. Using dynamic frame rate representations, FlexiSLM outperforms fixed-frame-rate 7B models including Qwen2.5-Omni and Kimi-Audio at its high-quality operating points. We further verify that FlexiSLM can be accurately steered down to 4.0 Hz; at 6.25 Hz, it roughly halves inference time relative to 12.5 Hz while retaining strong speech-to-speech quality. Audio samples are available at https://flexislm.github.io .