Thermodynamischer natürlicher Gradientenabstieg

Thermodynamic Natural Gradient Descent

May 22, 2024

Autoren: Kaelan Donatella, Samuel Duffield, Maxwell Aifer, Denis Melanson, Gavin Crooks, Patrick J. Coles

cs.AI

Zusammenfassung

Zweitordnungsmethoden haben bessere Konvergenzeigenschaften als Gradientenabstieg, werden jedoch aufgrund ihres Rechenaufwands selten in der Praxis für das Training im großen Maßstab verwendet. Dies kann als eine Hardware-Beschränkung (die von digitalen Computern auferlegt wird) betrachtet werden. Hier zeigen wir, dass der natürliche Gradientenabstieg (NGD), eine Methode zweiter Ordnung, eine ähnliche Rechenkomplexität pro Iteration wie eine Methode erster Ordnung aufweisen kann, wenn geeignete Hardware verwendet wird. Wir präsentieren einen neuen hybriden digital-analogen Algorithmus zur Schulung neuronaler Netzwerke, der in einem bestimmten Parameterbereich dem NGD entspricht, jedoch kostspielige lineare Gleichungssysteme vermeidet. Unser Algorithmus nutzt die thermodynamischen Eigenschaften eines analogen Systems im Gleichgewicht und erfordert daher einen analogen thermodynamischen Computer. Das Training erfolgt in einer hybriden digital-analogen Schleife, in der der Gradient und die Fisher-Informationsmatrix (oder eine andere positiv semidefinite Krümmungsmatrix) in bestimmten Zeitintervallen berechnet werden, während die analogen Dynamiken stattfinden. Wir zeigen numerisch die Überlegenheit dieses Ansatzes gegenüber modernsten digitalen Trainingsmethoden erster und zweiter Ordnung bei Klassifizierungsaufgaben und Feinabstimmungsaufgaben für Sprachmodelle.

English

Second-order training methods have better convergence properties than gradient descent but are rarely used in practice for large-scale training due to their computational overhead. This can be viewed as a hardware limitation (imposed by digital computers). Here we show that natural gradient descent (NGD), a second-order method, can have a similar computational complexity per iteration to a first-order method, when employing appropriate hardware. We present a new hybrid digital-analog algorithm for training neural networks that is equivalent to NGD in a certain parameter regime but avoids prohibitively costly linear system solves. Our algorithm exploits the thermodynamic properties of an analog system at equilibrium, and hence requires an analog thermodynamic computer. The training occurs in a hybrid digital-analog loop, where the gradient and Fisher information matrix (or any other positive semi-definite curvature matrix) are calculated at given time intervals while the analog dynamics take place. We numerically demonstrate the superiority of this approach over state-of-the-art digital first- and second-order training methods on classification tasks and language model fine-tuning tasks.