Piedras preciosas: Un conjunto de modelos para leyes de escala multifacéticas.

Gemstones: A Model Suite for Multi-Faceted Scaling Laws

February 7, 2025

Autores: Sean McLeish, John Kirchenbauer, David Yu Miller, Siddharth Singh, Abhinav Bhatele, Micah Goldblum, Ashwinee Panda, Tom Goldstein

cs.AI

Resumen

Las leyes de escala suelen ajustarse utilizando una familia de modelos con un rango estrecho de elecciones de hiperparámetros congelados. En este trabajo estudiamos las leyes de escala utilizando una amplia gama de arquitecturas y elecciones de hiperparámetros, y destacamos su impacto en las prescripciones resultantes. Como principal artefacto de nuestra investigación, publicamos las Gemstones: el conjunto de datos de leyes de escala de código abierto más completo hasta la fecha, que consta de más de 4000 puntos de control de transformadores con hasta 2 mil millones de parámetros; estos modelos han sido entrenados con diferentes tasas de aprendizaje, programaciones de enfriamiento y formas arquitectónicas. Nuestros puntos de control permiten estudios más complejos de la escala, como una ley que predice el rendimiento del modelado de lenguaje en función del ancho y la profundidad del modelo. Al examinar los diversos aspectos de nuestra suite de modelos, encontramos que las prescripciones de las leyes de escala pueden ser altamente sensibles al proceso de diseño experimental y a los puntos de control de modelos específicos utilizados durante el ajuste. Código: https://github.com/mcleish7/gemstone-scaling-laws

English

Scaling laws are typically fit using a family of models with a narrow range of frozen hyper-parameter choices. In this work we study scaling laws using a wide range of architecture and hyper-parameter choices, and highlight their impact on resulting prescriptions. As a primary artifact of our research, we release the Gemstones: the most comprehensive open-source scaling law dataset to date, consisting of over 4000 checkpoints from transformers with up to 2 billion parameters; these models have been trained with different learning rates, cooldown schedules, and architectural shapes. Our checkpoints enable more complex studies of scaling, such as a law that predicts language modeling performance as a function of model width and depth. By examining the various facets of our model suite, we find that the prescriptions of scaling laws can be highly sensitive to the experimental design process and the specific model checkpoints used during fitting. Code: https://github.com/mcleish7/gemstone-scaling-laws