FlexiSLM: Ein dynamisches und steuerbares Sprachmodell mit variabler Framerate

Zusammenfassung

Sprachmodelle für gesprochene Sprache (SLMs) erweitern LLMs um Spracheingabe und -ausgabe. Bestehende SLMs kodieren Sprache mit festen Bildwiederholraten (z. B. 25 oder 12,5 Hz) und ignorieren dabei die zeitlich variierende Informationsdichte der Sprache, sodass sie keine Flexibilität bieten, um während der Inferenz Qualität gegen Geschwindigkeit abzuwägen. Neuere Forschungsarbeiten zu Audio-Tokenizern haben eine dynamische Frame-Rate-Sprachcodierung vorgeschlagen, die diese Ungleichmäßigkeit ausnutzt und zwei neue Fähigkeiten ermöglicht: sehr niedrige durchschnittliche Frame-Raten sowie die Steuerbarkeit der Frame-Rate. Allerdings wurde diese Technik bisher nicht auf SLMs angewendet. Wir stellen das Flexible Spoken Language Model (FlexiSLM) vor, das erste SLM, das dynamische und steuerbare Frame-Raten sowohl bei Spracheingabe als auch bei Sprachausgabe unterstützt. Mithilfe dynamischer Frame-Rate-Repräsentationen übertrifft FlexiSLM Modelle mit festen Frame-Raten und 7B Parametern, darunter Qwen2.5-Omni und Kimi-Audio, an seinen Hochqualitäts-Arbeitspunkten. Wir bestätigen außerdem, dass FlexiSLM präzise bis auf 4,0 Hz heruntergesteuert werden kann; bei 6,25 Hz halbiert es in etwa die Inferenzzeit im Vergleich zu 12,5 Hz, während es eine hohe Sprache-zu-Sprache-Qualität beibehält. Audiobeispiele sind verfügbar unter https://flexislm.github.io .

English

Spoken language models (SLMs) extend LLMs to speech input and output. Existing SLMs represent speech at fixed frame rates (e.g., 25 or 12.5 Hz), ignoring the time-varying information density of speech and offering no flexibility to trade off quality for speed at inference time. Recent audio tokenizer research has proposed dynamic frame rate speech coding, which exploits this non-uniformity and enables two new capabilities: very low average frame rates and frame rate controllability. However, this technique has not yet been applied to SLMs. We introduce Flexible Spoken Language Model (FlexiSLM), the first SLM that supports dynamic and controllable frame rates on both speech input and output. Using dynamic frame rate representations, FlexiSLM outperforms fixed-frame-rate 7B models including Qwen2.5-Omni and Kimi-Audio at its high-quality operating points. We further verify that FlexiSLM can be accurately steered down to 4.0 Hz; at 6.25 Hz, it roughly halves inference time relative to 12.5 Hz while retaining strong speech-to-speech quality. Audio samples are available at https://flexislm.github.io .