Análise de Escalabilidade de Modelos de Linguagem com Intercalação de Fala e Texto

Scaling Analysis of Interleaved Speech-Text Language Models

April 3, 2025

Autores: Gallil Maimon, Michael Hassid, Amit Roth, Yossi Adi

cs.AI

Resumo

A análise existente sobre a escalabilidade dos Modelos de Linguagem de Fala (SLMs) pinta um cenário desanimador. Ela prevê que os SLMs exigem muito mais capacidade computacional e dados em comparação com os modelos de texto, levando alguns a questionar a viabilidade de treinar SLMs de alta qualidade. No entanto, os SLMs modernos são frequentemente inicializados a partir de Modelos de Linguagem de Texto (TextLMs) pré-treinados, utilizando intercalação de fala e texto para permitir a transferência de conhecimento. Isso levanta a questão: os SLMs intercalados escalam de forma mais eficiente do que os SLMs sem texto? Neste artigo, respondemos com um sonoro sim! Realizamos uma análise de escalabilidade dos SLMs intercalados, treinando várias dezenas de modelos e analisando as tendências de escalabilidade. Observamos que, nessa configuração, os SLMs escalam de forma mais eficiente com o aumento da capacidade computacional. Além disso, nossos resultados indicam que a dinâmica de escalabilidade é significativamente diferente da dos SLMs sem texto, sugerindo que se deve alocar consideravelmente mais do orçamento computacional para aumentar o tamanho do modelo em vez de aumentar o número de tokens de treinamento. Também estudamos o papel dos dados sintéticos e das famílias de modelos TextLM no desbloqueio desse potencial. Os resultados sugerem que nosso modelo escalonado alcança desempenho comparável aos modelos líderes em métricas semânticas de fala, utilizando menos capacidade computacional e dados do que outras abordagens. Disponibilizamos modelos, amostras e dados em código aberto - https://pages.cs.huji.ac.il/adiyoss-lab/sims.

English

Existing Speech Language Model (SLM) scaling analysis paints a bleak picture. They predict that SLMs require much more compute and data compared to text, leading some to question the feasibility of training high-quality SLMs. However, modern SLMs are often initialised from pre-trained TextLMs using speech-text interleaving to allow knowledge transfer. This raises the question - Do interleaved SLMs scale more efficiently than textless-SLMs? In this paper we answer a resounding, yes! We conduct scaling analysis of interleaved SLMs by training several dozen and analysing the scaling trends. We see that under this setup SLMs scale more efficiently with compute. Additionally, our results indicate that the scaling-dynamics are significantly different than textless-SLMs, suggesting one should allocate notably more of the compute budget for increasing model size over training tokens. We also study the role of synthetic data and TextLM model families in unlocking this potential. Results suggest, that our scaled up model achieves comparable performance with leading models on speech semantic metrics while using less compute and data than other approaches. We open source models, samples, and data - https://pages.cs.huji.ac.il/adiyoss-lab/sims.