Descida do Gradiente Natural Termodinâmico

Thermodynamic Natural Gradient Descent

May 22, 2024

Autores: Kaelan Donatella, Samuel Duffield, Maxwell Aifer, Denis Melanson, Gavin Crooks, Patrick J. Coles

cs.AI

Resumo

Métodos de treinamento de segunda ordem possuem propriedades de convergência superiores ao gradiente descendente, mas raramente são utilizados na prática para treinamento em larga escala devido à sua sobrecarga computacional. Isso pode ser visto como uma limitação de hardware (imposta por computadores digitais). Aqui, mostramos que o gradiente descendente natural (NGD, na sigla em inglês), um método de segunda ordem, pode ter uma complexidade computacional por iteração semelhante a um método de primeira ordem, quando empregamos hardware apropriado. Apresentamos um novo algoritmo híbrido digital-analógico para treinamento de redes neurais que é equivalente ao NGD em um determinado regime de parâmetros, mas evita a resolução de sistemas lineares proibitivamente custosos. Nosso algoritmo explora as propriedades termodinâmicas de um sistema analógico em equilíbrio e, portanto, requer um computador termodinâmico analógico. O treinamento ocorre em um loop híbrido digital-analógico, onde o gradiente e a matriz de informação de Fisher (ou qualquer outra matriz de curvatura semidefinida positiva) são calculados em intervalos de tempo específicos, enquanto a dinâmica analógica ocorre. Demonstramos numericamente a superioridade dessa abordagem em relação aos métodos de treinamento digitais de primeira e segunda ordem mais avançados em tarefas de classificação e de ajuste fino de modelos de linguagem.

English

Second-order training methods have better convergence properties than gradient descent but are rarely used in practice for large-scale training due to their computational overhead. This can be viewed as a hardware limitation (imposed by digital computers). Here we show that natural gradient descent (NGD), a second-order method, can have a similar computational complexity per iteration to a first-order method, when employing appropriate hardware. We present a new hybrid digital-analog algorithm for training neural networks that is equivalent to NGD in a certain parameter regime but avoids prohibitively costly linear system solves. Our algorithm exploits the thermodynamic properties of an analog system at equilibrium, and hence requires an analog thermodynamic computer. The training occurs in a hybrid digital-analog loop, where the gradient and Fisher information matrix (or any other positive semi-definite curvature matrix) are calculated at given time intervals while the analog dynamics take place. We numerically demonstrate the superiority of this approach over state-of-the-art digital first- and second-order training methods on classification tasks and language model fine-tuning tasks.