Slamming: Treinando um Modelo de Linguagem de Fala em uma GPU em um Dia

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Autores: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Resumo

Apresentamos o Slam, uma receita para treinar Modelos de Linguagem de Fala (SLMs, na sigla em inglês) de alta qualidade em uma única GPU acadêmica em 24 horas. Isso é alcançado por meio de análises empíricas de inicialização e arquitetura do modelo, dados de treinamento sintéticos, otimização de preferências com dados sintéticos e ajustes em todos os demais componentes. Demonstramos empiricamente que essa receita de treinamento também escala bem com maior capacidade computacional, obtendo resultados comparáveis aos principais SLMs com uma fração do custo computacional. Esperamos que esses insights tornem o treinamento e a pesquisa em SLMs mais acessíveis. No contexto das leis de escalonamento de SLMs, nossos resultados superam significativamente o desempenho ótimo previsto em termos de computação, oferecendo uma visão otimista sobre a viabilidade dos SLMs. Consulte código, dados, modelos e exemplos em: https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .