Slamming: Addestramento di un Modello Linguistico per il Parlato su una Singola GPU in un Giorno

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Autori: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Abstract

Introduciamo Slam, una metodologia per addestrare modelli linguistici vocali (SLM) di alta qualità su una singola GPU accademica in 24 ore. Questo risultato è stato ottenuto attraverso un'analisi empirica dell'inizializzazione e dell'architettura del modello, l'utilizzo di dati di addestramento sintetici, l'ottimizzazione delle preferenze con dati sintetici e l'ottimizzazione di tutti gli altri componenti. Dimostriamo empiricamente che questa metodologia di addestramento scala efficacemente con maggiori risorse computazionali, ottenendo risultati paragonabili ai migliori SLM con una frazione del costo computazionale. Speriamo che queste intuizioni rendano l'addestramento e la ricerca sugli SLM più accessibili. Nel contesto delle leggi di scala degli SLM, i nostri risultati superano di gran lunga le prestazioni ottimali previste in termini di risorse computazionali, offrendo una visione ottimistica sulla fattibilità degli SLM. Codice, dati, modelli e campioni sono disponibili su: https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .