Alter Optimierer, neue Norm: Eine Anthologie

Old Optimizer, New Norm: An Anthology

September 30, 2024

Autoren: Jeremy Bernstein, Laker Newhouse

cs.AI

Zusammenfassung

Deep-Learning-Optimierer werden oft durch eine Mischung aus konvexer und approximativer Theorie zweiter Ordnung motiviert. Wir wählen drei solcher Methoden - Adam, Shampoo und Prodigy - und argumentieren, dass jede Methode stattdessen als eine klar erstmalige Methode ohne Konvexitätsannahmen verstanden werden kann. Tatsächlich sind nach dem Ausschalten der exponentiellen gleitenden Durchschnitte jede Methode äquivalent zu steilstem Abstieg unter einer bestimmten Norm. Durch Verallgemeinerung dieser Beobachtung skizzieren wir einen neuen Entwurfsraum für Trainingsalgorithmen. Unterschiedlichen Operatornormen sollten verschiedenen Tensoren basierend auf der Rolle, die der Tensor im Netzwerk spielt, zugeordnet werden. Zum Beispiel können lineare und Einbettungsschichten zwar den gleichen Gewichtsraum von R^{m mal n} haben, spielen jedoch unterschiedliche Rollen und sollten unterschiedliche Normen zugewiesen bekommen. Wir hoffen, dass diese Idee der sorgfältigen Metrizierung der neuronalen Architektur zu stabilerem, skalierbarem und tatsächlich schnellerem Training führen könnte.

English

Deep learning optimizers are often motivated through a mix of convex and approximate second-order theory. We select three such methods -- Adam, Shampoo and Prodigy -- and argue that each method can instead be understood as a squarely first-order method without convexity assumptions. In fact, after switching off exponential moving averages, each method is equivalent to steepest descent under a particular norm. By generalizing this observation, we chart a new design space for training algorithms. Different operator norms should be assigned to different tensors based on the role that the tensor plays within the network. For example, while linear and embedding layers may have the same weight space of R^{mtimes n}, these layers play different roles and should be assigned different norms. We hope that this idea of carefully metrizing the neural architecture might lead to more stable, scalable and indeed faster training.