Единые законы масштабирования нейронных сетей

Аннотация

Мы представляем функциональную форму (называемую Единым законом масштабирования нейронных сетей (UNSL)), которая точно моделирует и экстраполирует масштабирующее поведение глубоких нейронных сетей при одновременном изменении множества измерений (т.е. как интересующая метрика оценки изменяется при одновременном варьировании числа параметров модели, размера обучающего набора данных, количества шагов обучения, количества шагов вывода, объема вычислений и различных гиперпараметров) для различных архитектур и для каждой из различных задач в разнообразном наборе исходных и последующих задач. Этот набор включает крупномасштабные задачи компьютерного зрения, обработки языка, математики и обучения с подкреплением. По сравнению с другими функциональными формами для масштабирования нейронных сетей, данная функциональная форма дает экстраполяции масштабирующего поведения, которые на этом наборе задач значительно точнее.

English

We present a functional form (that we refer to as a Unified Neural Scaling Law (UNSL)) that accurately models and extrapolates the scaling behaviors of deep neural networks as multiple dimensions all vary simultaneously (i.e. how the evaluation metric of interest varies as one simultaneously varies the number of model parameters, training dataset size, number of training steps, number of inference steps, amount of compute, and various hyperparameters) for various architectures and for each of various tasks within a varied set of upstream and downstream tasks. This set includes large-scale vision, language, math, and reinforcement learning. When compared to other functional forms for neural scaling, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set.