Vecchio Ottimizzatore, Nuova Norma: Un'Antologia

Old Optimizer, New Norm: An Anthology

September 30, 2024

Autori: Jeremy Bernstein, Laker Newhouse

cs.AI

Abstract

Gli ottimizzatori del deep learning sono spesso motivati attraverso una combinazione di teoria convessa e approssimata del secondo ordine. Selezioniamo tre di tali metodi - Adam, Shampoo e Prodigy - e sosteniamo che ciascun metodo possa invece essere compreso come un metodo di primo ordine senza assumere convessità. Infatti, dopo aver disattivato le medie mobili esponenziali, ciascun metodo è equivalente a una discesa più ripida sotto una particolare norma. Generalizzando questa osservazione, tracciamo un nuovo spazio di progettazione per gli algoritmi di addestramento. Diverse norme degli operatori dovrebbero essere assegnate a diversi tensori in base al ruolo che il tensore svolge all'interno della rete. Ad esempio, mentre i livelli lineari e di embedding possono avere lo stesso spazio dei pesi di R^{mtimes n}, questi livelli svolgono ruoli diversi e dovrebbero essere assegnati norme diverse. Speriamo che questa idea di metrizzare attentamente l'architettura neurale possa portare a un addestramento più stabile, scalabile e, in effetti, più veloce.

English

Deep learning optimizers are often motivated through a mix of convex and approximate second-order theory. We select three such methods -- Adam, Shampoo and Prodigy -- and argue that each method can instead be understood as a squarely first-order method without convexity assumptions. In fact, after switching off exponential moving averages, each method is equivalent to steepest descent under a particular norm. By generalizing this observation, we chart a new design space for training algorithms. Different operator norms should be assigned to different tensors based on the role that the tensor plays within the network. For example, while linear and embedding layers may have the same weight space of R^{mtimes n}, these layers play different roles and should be assigned different norms. We hope that this idea of carefully metrizing the neural architecture might lead to more stable, scalable and indeed faster training.