Geünificeerde Neurale Schalingswetten

Samenvatting

We presenteren een functionele vorm (die we aanduiden als Unified Neural Scaling Law (UNSL)) die het schaalgedrag van diepe neurale netwerken nauwkeurig modelleert en extrapoleert wanneer meerdere dimensies tegelijkertijd variëren (d.w.z. hoe de evaluatiemetriek van interesse varieert wanneer men tegelijkertijd het aantal modelparameters, de omvang van de trainingsdataset, het aantal trainingsstappen, het aantal inferentiestappen, de hoeveelheid rekenkracht en diverse hyperparameters varieert) voor diverse architecturen en voor elk van diverse taken binnen een gevarieerde set van upstream- en downstream-taken. Deze set omvat grootschalige visie, taal, wiskunde en reinforcement learning. Vergeleken met andere functionele vormen voor neurale schaling levert deze functionele vorm extrapolaties van schaalgedrag die op deze set aanzienlijk nauwkeuriger zijn.

English

We present a functional form (that we refer to as a Unified Neural Scaling Law (UNSL)) that accurately models and extrapolates the scaling behaviors of deep neural networks as multiple dimensions all vary simultaneously (i.e. how the evaluation metric of interest varies as one simultaneously varies the number of model parameters, training dataset size, number of training steps, number of inference steps, amount of compute, and various hyperparameters) for various architectures and for each of various tasks within a varied set of upstream and downstream tasks. This set includes large-scale vision, language, math, and reinforcement learning. When compared to other functional forms for neural scaling, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set.