Pedras Preciosas: Um Conjunto de Modelos para Leis de Escala Multifacetadas

Gemstones: A Model Suite for Multi-Faceted Scaling Laws

February 7, 2025

Autores: Sean McLeish, John Kirchenbauer, David Yu Miller, Siddharth Singh, Abhinav Bhatele, Micah Goldblum, Ashwinee Panda, Tom Goldstein

cs.AI

Resumo

As leis de escala são tipicamente ajustadas usando uma família de modelos com uma faixa estreita de escolhas de hiperparâmetros fixos. Neste trabalho, estudamos as leis de escala usando uma ampla gama de arquiteturas e escolhas de hiperparâmetros, e destacamos seu impacto nas prescrições resultantes. Como principal artefato de nossa pesquisa, lançamos as Gemstones: o conjunto de dados de leis de escala de código aberto mais abrangente até o momento, composto por mais de 4000 pontos de verificação de transformers com até 2 bilhões de parâmetros; esses modelos foram treinados com diferentes taxas de aprendizado, cronogramas de resfriamento e formatos arquiteturais. Nossos pontos de verificação permitem estudos mais complexos de escalonamento, como uma lei que prevê o desempenho de modelagem de linguagem como uma função da largura e profundidade do modelo. Ao examinar os vários aspectos de nosso conjunto de modelos, descobrimos que as prescrições das leis de escala podem ser altamente sensíveis ao processo de design experimental e aos pontos de verificação de modelo específicos usados durante o ajuste. Código: https://github.com/mcleish7/gemstone-scaling-laws

English

Scaling laws are typically fit using a family of models with a narrow range of frozen hyper-parameter choices. In this work we study scaling laws using a wide range of architecture and hyper-parameter choices, and highlight their impact on resulting prescriptions. As a primary artifact of our research, we release the Gemstones: the most comprehensive open-source scaling law dataset to date, consisting of over 4000 checkpoints from transformers with up to 2 billion parameters; these models have been trained with different learning rates, cooldown schedules, and architectural shapes. Our checkpoints enable more complex studies of scaling, such as a law that predicts language modeling performance as a function of model width and depth. By examining the various facets of our model suite, we find that the prescriptions of scaling laws can be highly sensitive to the experimental design process and the specific model checkpoints used during fitting. Code: https://github.com/mcleish7/gemstone-scaling-laws