FlexiSLM: Un Modelo de Lenguaje Hablado con Tasa de Fotogramas Dinámica y Controlable

Resumen

Los Modelos de Lenguaje Hablado (SLM) extienden los LLMs a la entrada y salida de habla. Los SLM existentes representan el habla a frecuencias de trama fijas (por ejemplo, 25 o 12.5 Hz), ignorando la densidad de información del habla que varía con el tiempo y sin ofrecer flexibilidad para compensar calidad por velocidad en tiempo de inferencia. Investigaciones recientes sobre tokenizadores de audio han propuesto la codificación de habla con frecuencia de trama dinámica, que explota esta no uniformidad y habilita dos nuevas capacidades: frecuencias de trama promedio muy bajas y controlabilidad de la frecuencia de trama. Sin embargo, esta técnica aún no se ha aplicado a los SLM. Presentamos Flexible Spoken Language Model (FlexiSLM), el primer SLM que admite frecuencias de trama dinámicas y controlables tanto en la entrada como en la salida de habla. Usando representaciones con frecuencia de trama dinámica, FlexiSLM supera a modelos de 7B con frecuencia de trama fija, incluyendo Qwen2.5-Omni y Kimi-Audio, en sus puntos de operación de alta calidad. Además, verificamos que FlexiSLM puede dirigirse con precisión hasta 4.0 Hz; a 6.25 Hz, aproximadamente reduce a la mitad el tiempo de inferencia en relación con 12.5 Hz, manteniendo una sólida calidad de habla a habla. Hay muestras de audio disponibles en https://flexislm.github.io .

English

Spoken language models (SLMs) extend LLMs to speech input and output. Existing SLMs represent speech at fixed frame rates (e.g., 25 or 12.5 Hz), ignoring the time-varying information density of speech and offering no flexibility to trade off quality for speed at inference time. Recent audio tokenizer research has proposed dynamic frame rate speech coding, which exploits this non-uniformity and enables two new capabilities: very low average frame rates and frame rate controllability. However, this technique has not yet been applied to SLMs. We introduce Flexible Spoken Language Model (FlexiSLM), the first SLM that supports dynamic and controllable frame rates on both speech input and output. Using dynamic frame rate representations, FlexiSLM outperforms fixed-frame-rate 7B models including Qwen2.5-Omni and Kimi-Audio at its high-quality operating points. We further verify that FlexiSLM can be accurately steered down to 4.0 Hz; at 6.25 Hz, it roughly halves inference time relative to 12.5 Hz while retaining strong speech-to-speech quality. Audio samples are available at https://flexislm.github.io .