Slamming: Entrenamiento de un Modelo de Lenguaje de Voz en una GPU en un Día

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Autores: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Resumen

Presentamos Slam, una metodología para entrenar Modelos de Lenguaje de Voz (SLMs, por sus siglas en inglés) de alta calidad utilizando una única GPU académica en 24 horas. Esto lo logramos mediante un análisis empírico de la inicialización del modelo y su arquitectura, datos de entrenamiento sintéticos, optimización de preferencias con datos sintéticos y ajustes en todos los demás componentes. Demostramos empíricamente que esta metodología de entrenamiento también escala eficientemente con mayor capacidad de cómputo, obteniendo resultados comparables a los de los principales SLMs con una fracción del costo computacional. Esperamos que estos hallazgos hagan que el entrenamiento e investigación de SLMs sean más accesibles. En el contexto de las leyes de escalamiento de SLMs, nuestros resultados superan ampliamente el rendimiento óptimo predicho en términos de cómputo, ofreciendo una perspectiva optimista sobre la viabilidad de los SLMs. Consulte el código, datos, modelos y muestras en: https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .