Ancien Optimiseur, Nouvelle Norme : Une Anthologie

Old Optimizer, New Norm: An Anthology

September 30, 2024

Auteurs: Jeremy Bernstein, Laker Newhouse

cs.AI

Résumé

Les optimiseurs de deep learning sont souvent motivés par un mélange de théorie convexe et de théorie approximative du second ordre. Nous sélectionnons trois de ces méthodes -- Adam, Shampoo et Prodigy -- et soutenons que chaque méthode peut plutôt être comprise comme une méthode du premier ordre sans hypothèses de convexité. En fait, après avoir désactivé les moyennes mobiles exponentielles, chaque méthode est équivalente à une descente de gradient sous une norme particulière. En généralisant cette observation, nous définissons un nouvel espace de conception pour les algorithmes d'entraînement. Différentes normes d'opérateur devraient être attribuées à différents tenseurs en fonction du rôle que le tenseur joue au sein du réseau. Par exemple, bien que les couches linéaires et d'incorporation puissent avoir le même espace de poids de R^{m fois n}, ces couches jouent des rôles différents et devraient se voir attribuer des normes différentes. Nous espérons que cette idée de métrisation soigneuse de l'architecture neuronale pourrait conduire à un entraînement plus stable, évolutif et en effet plus rapide.

English

Deep learning optimizers are often motivated through a mix of convex and approximate second-order theory. We select three such methods -- Adam, Shampoo and Prodigy -- and argue that each method can instead be understood as a squarely first-order method without convexity assumptions. In fact, after switching off exponential moving averages, each method is equivalent to steepest descent under a particular norm. By generalizing this observation, we chart a new design space for training algorithms. Different operator norms should be assigned to different tensors based on the role that the tensor plays within the network. For example, while linear and embedding layers may have the same weight space of R^{mtimes n}, these layers play different roles and should be assigned different norms. We hope that this idea of carefully metrizing the neural architecture might lead to more stable, scalable and indeed faster training.