Градиентный спуск на основе термодинамического естественного градиента

Thermodynamic Natural Gradient Descent

May 22, 2024

Авторы: Kaelan Donatella, Samuel Duffield, Maxwell Aifer, Denis Melanson, Gavin Crooks, Patrick J. Coles

cs.AI

Аннотация

Методы обучения второго порядка имеют лучшие свойства сходимости по сравнению с градиентным спуском, но редко используются на практике для обучения на больших масштабах из-за вычислительной нагрузки. Это можно рассматривать как ограничение оборудования (наложенное цифровыми компьютерами). Здесь мы показываем, что естественный градиентный спуск (NGD), метод второго порядка, может иметь сходную вычислительную сложность на итерацию с методом первого порядка при использовании соответствующего оборудования. Мы представляем новый гибридный цифро-аналоговый алгоритм для обучения нейронных сетей, эквивалентный NGD в определенном режиме параметров, но избегающий чрезмерно дорогих решений линейных систем. Наш алгоритм использует термодинамические свойства аналоговой системы в равновесии и, следовательно, требует аналогового термодинамического компьютера. Обучение происходит в гибридном цифро-аналоговом цикле, где градиент и матрица информации Фишера (или любая другая положительно полуопределенная кривизна матрица) вычисляются через определенные временные интервалы, в то время как происходят аналоговые динамики. Мы численно демонстрируем превосходство этого подхода над современными цифровыми методами обучения первого и второго порядка на задачах классификации и настройки языковой модели.

English

Second-order training methods have better convergence properties than gradient descent but are rarely used in practice for large-scale training due to their computational overhead. This can be viewed as a hardware limitation (imposed by digital computers). Here we show that natural gradient descent (NGD), a second-order method, can have a similar computational complexity per iteration to a first-order method, when employing appropriate hardware. We present a new hybrid digital-analog algorithm for training neural networks that is equivalent to NGD in a certain parameter regime but avoids prohibitively costly linear system solves. Our algorithm exploits the thermodynamic properties of an analog system at equilibrium, and hence requires an analog thermodynamic computer. The training occurs in a hybrid digital-analog loop, where the gradient and Fisher information matrix (or any other positive semi-definite curvature matrix) are calculated at given time intervals while the analog dynamics take place. We numerically demonstrate the superiority of this approach over state-of-the-art digital first- and second-order training methods on classification tasks and language model fine-tuning tasks.