Schlagartig: Training eines Sprachmodells an einem GPU innerhalb eines Tages

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Autoren: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Zusammenfassung

Wir stellen Slam vor, ein Rezept zur Schulung hochwertiger Sprachmodellmodelle (SLMs) auf einer einzelnen akademischen GPU in 24 Stunden. Dies geschieht durch empirische Analyse der Modellinitialisierung und -architektur, synthetische Trainingsdaten, Präferenzoptimierung mit synthetischen Daten und Feinabstimmung aller anderen Komponenten. Wir zeigen empirisch, dass dieses Schulungsrezept auch gut mit mehr Rechenleistung skaliert und Ergebnisse erzielt, die mit führenden SLMs bei einem Bruchteil der Rechenkosten vergleichbar sind. Wir hoffen, dass diese Erkenntnisse das Training und die Forschung zu SLMs zugänglicher machen. Im Kontext der Skalierungsgesetze für SLMs übertreffen unsere Ergebnisse bei weitem die vorhergesagte optimale Rechenleistung und bieten einen optimistischen Ausblick auf die Machbarkeit von SLMs. Siehe Code, Daten, Modelle, Beispiele unter - https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .