Análisis de Escalabilidad de Modelos de Lenguaje Intercalados de Habla y Texto

Scaling Analysis of Interleaved Speech-Text Language Models

April 3, 2025

Autores: Gallil Maimon, Michael Hassid, Amit Roth, Yossi Adi

cs.AI

Resumen

El análisis existente sobre la escalabilidad de los Modelos de Lenguaje de Habla (SLM, por sus siglas en inglés) presenta un panorama desalentador. Se predice que los SLM requieren mucho más poder de cómputo y datos en comparación con los modelos de texto, lo que lleva a algunos a cuestionar la viabilidad de entrenar SLM de alta calidad. Sin embargo, los SLM modernos a menudo se inicializan a partir de Modelos de Lenguaje de Texto (TextLM) preentrenados utilizando intercalación de habla y texto para permitir la transferencia de conocimiento. Esto plantea la pregunta: ¿Los SLM intercalados escalan de manera más eficiente que los SLM sin texto? En este artículo, respondemos con un rotundo ¡sí! Realizamos un análisis de escalabilidad de los SLM intercalados entrenando varias decenas de modelos y analizando las tendencias de escalabilidad. Observamos que, bajo esta configuración, los SLM escalan de manera más eficiente con el poder de cómputo. Además, nuestros resultados indican que las dinámicas de escalabilidad son significativamente diferentes a las de los SLM sin texto, lo que sugiere que se debería asignar notablemente más del presupuesto de cómputo para aumentar el tamaño del modelo en lugar de los tokens de entrenamiento. También estudiamos el papel de los datos sintéticos y las familias de modelos TextLM para desbloquear este potencial. Los resultados sugieren que nuestro modelo escalado logra un rendimiento comparable con los modelos líderes en métricas semánticas de habla, utilizando menos poder de cómputo y datos que otros enfoques. Hacemos públicos los modelos, muestras y datos en: https://pages.cs.huji.ac.il/adiyoss-lab/sims.

English

Existing Speech Language Model (SLM) scaling analysis paints a bleak picture. They predict that SLMs require much more compute and data compared to text, leading some to question the feasibility of training high-quality SLMs. However, modern SLMs are often initialised from pre-trained TextLMs using speech-text interleaving to allow knowledge transfer. This raises the question - Do interleaved SLMs scale more efficiently than textless-SLMs? In this paper we answer a resounding, yes! We conduct scaling analysis of interleaved SLMs by training several dozen and analysing the scaling trends. We see that under this setup SLMs scale more efficiently with compute. Additionally, our results indicate that the scaling-dynamics are significantly different than textless-SLMs, suggesting one should allocate notably more of the compute budget for increasing model size over training tokens. We also study the role of synthetic data and TextLM model families in unlocking this potential. Results suggest, that our scaled up model achieves comparable performance with leading models on speech semantic metrics while using less compute and data than other approaches. We open source models, samples, and data - https://pages.cs.huji.ac.il/adiyoss-lab/sims.