Анализ масштабирования переплетённых рече-текстовых языковых моделей

Scaling Analysis of Interleaved Speech-Text Language Models

April 3, 2025

Авторы: Gallil Maimon, Michael Hassid, Amit Roth, Yossi Adi

cs.AI

Аннотация

Существующий анализ масштабирования речевых языковых моделей (Speech Language Models, SLMs) рисует довольно мрачную картину. Он предсказывает, что SLM требуют значительно больше вычислительных ресурсов и данных по сравнению с текстовыми моделями, что заставляет некоторых сомневаться в возможности обучения высококачественных SLM. Однако современные SLM часто инициализируются на основе предварительно обученных текстовых языковых моделей (TextLMs) с использованием чередования речи и текста для передачи знаний. Это поднимает вопрос: масштабируются ли SLM с чередованием более эффективно, чем SLM без использования текста? В данной статье мы даем однозначный ответ — да! Мы проводим анализ масштабирования SLM с чередованием, обучая несколько десятков моделей и изучая тенденции масштабирования. Мы видим, что в такой конфигурации SLM масштабируются более эффективно с точки зрения вычислительных ресурсов. Кроме того, наши результаты показывают, что динамика масштабирования значительно отличается от SLM без текста, что указывает на необходимость выделять заметно больше вычислительного бюджета на увеличение размера модели, а не на количество токенов для обучения. Мы также изучаем роль синтетических данных и семейств моделей TextLM в раскрытии этого потенциала. Результаты показывают, что наша масштабированная модель достигает сопоставимой производительности с ведущими моделями по метрикам семантики речи, используя при этом меньше вычислительных ресурсов и данных, чем другие подходы. Мы открываем исходные коды моделей, примеры и данные — https://pages.cs.huji.ac.il/adiyoss-lab/sims.

English

Existing Speech Language Model (SLM) scaling analysis paints a bleak picture. They predict that SLMs require much more compute and data compared to text, leading some to question the feasibility of training high-quality SLMs. However, modern SLMs are often initialised from pre-trained TextLMs using speech-text interleaving to allow knowledge transfer. This raises the question - Do interleaved SLMs scale more efficiently than textless-SLMs? In this paper we answer a resounding, yes! We conduct scaling analysis of interleaved SLMs by training several dozen and analysing the scaling trends. We see that under this setup SLMs scale more efficiently with compute. Additionally, our results indicate that the scaling-dynamics are significantly different than textless-SLMs, suggesting one should allocate notably more of the compute budget for increasing model size over training tokens. We also study the role of synthetic data and TextLM model families in unlocking this potential. Results suggest, that our scaled up model achieves comparable performance with leading models on speech semantic metrics while using less compute and data than other approaches. We open source models, samples, and data - https://pages.cs.huji.ac.il/adiyoss-lab/sims.