Slamming: Een Spraaktaalmodel Trainen op Één GPU in Één Dag

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Auteurs: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Samenvatting

We introduceren Slam, een methode voor het trainen van hoogwaardige Spraaktaalmodellen (Speech Language Models, SLMs) op een enkele academische GPU binnen 24 uur. Dit doen we door empirische analyse van modelinitialisatie en -architectuur, synthetische trainingsdata, voorkeursoptimalisatie met synthetische data en het finetunen van alle andere componenten. We tonen empirisch aan dat deze trainingsmethode ook goed schaalt met meer rekenkracht, waarbij resultaten worden behaald die vergelijkbaar zijn met toonaangevende SLMs tegen een fractie van de rekenkosten. We hopen dat deze inzichten het trainen en onderzoeken van SLMs toegankelijker zullen maken. In de context van schaalwetten voor SLMs overtreffen onze resultaten de voorspelde rekenkundig optimale prestaties aanzienlijk, wat een optimistisch beeld geeft van de haalbaarheid van SLMs. Zie code, data, modellen en voorbeelden op - https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .