Edelstenen: Een Model Suite voor Meervoudige Schaalwetten
Gemstones: A Model Suite for Multi-Faceted Scaling Laws
February 7, 2025
Auteurs: Sean McLeish, John Kirchenbauer, David Yu Miller, Siddharth Singh, Abhinav Bhatele, Micah Goldblum, Ashwinee Panda, Tom Goldstein
cs.AI
Samenvatting
Schalingswetten worden doorgaans aangepast met behulp van een reeks modellen met een beperkt bereik van bevroren hyperparameterkeuzes. In dit werk bestuderen we schalingswetten met behulp van een breed scala aan architectuur- en hyperparameterkeuzes, en benadrukken we hun impact op resulterende voorschriften. Als belangrijkste resultaat van ons onderzoek publiceren we de Gemstones: de meest uitgebreide open-source schalingswetendataset tot nu toe, bestaande uit meer dan 4000 checkpoints van transformers met maximaal 2 miljard parameters; deze modellen zijn getraind met verschillende leersnelheden, cooldown-schema's en architecturale vormen. Onze checkpoints maken complexere studies van schaling mogelijk, zoals een wet die de prestaties van taalmodellering voorspelt als een functie van modelbreedte en -diepte. Door de verschillende facetten van onze modelreeks te onderzoeken, ontdekken we dat de voorschriften van schalingswetten zeer gevoelig kunnen zijn voor het experimentele ontwerpproces en de specifieke modelcheckpoints die tijdens het aanpassen zijn gebruikt. Code: https://github.com/mcleish7/gemstone-scaling-laws
English
Scaling laws are typically fit using a family of models with a narrow range
of frozen hyper-parameter choices. In this work we study scaling laws using a
wide range of architecture and hyper-parameter choices, and highlight their
impact on resulting prescriptions. As a primary artifact of our research, we
release the Gemstones: the most comprehensive open-source scaling law dataset
to date, consisting of over 4000 checkpoints from transformers with up to 2
billion parameters; these models have been trained with different learning
rates, cooldown schedules, and architectural shapes. Our checkpoints enable
more complex studies of scaling, such as a law that predicts language modeling
performance as a function of model width and depth. By examining the various
facets of our model suite, we find that the prescriptions of scaling laws can
be highly sensitive to the experimental design process and the specific model
checkpoints used during fitting. Code:
https://github.com/mcleish7/gemstone-scaling-laws