Leyes de Escalamiento Neuronal Unificadas

Resumen

Presentamos una forma funcional (que denominamos Ley de Escalado Neural Unificada (UNSL)) que modela y extrapola con precisión los comportamientos de escalado de las redes neuronales profundas cuando múltiples dimensiones varían simultáneamente (es decir, cómo cambia la métrica de evaluación de interés al variar simultáneamente el número de parámetros del modelo, el tamaño del conjunto de datos de entrenamiento, el número de pasos de entrenamiento, el número de pasos de inferencia, la cantidad de cómputo y diversos hiperparámetros) para varias arquitecturas y para cada una de las diversas tareas dentro de un conjunto variado de tareas previas y posteriores. Este conjunto incluye visión a gran escala, lenguaje, matemáticas y aprendizaje por refuerzo. En comparación con otras formas funcionales para el escalado neuronal, esta forma funcional produce extrapolaciones del comportamiento de escalado considerablemente más precisas en este conjunto.

English

We present a functional form (that we refer to as a Unified Neural Scaling Law (UNSL)) that accurately models and extrapolates the scaling behaviors of deep neural networks as multiple dimensions all vary simultaneously (i.e. how the evaluation metric of interest varies as one simultaneously varies the number of model parameters, training dataset size, number of training steps, number of inference steps, amount of compute, and various hyperparameters) for various architectures and for each of various tasks within a varied set of upstream and downstream tasks. This set includes large-scale vision, language, math, and reinforcement learning. When compared to other functional forms for neural scaling, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set.