Reparametrisiertes LLM-Training durch orthogonale Äquivalenztransformation
Reparameterized LLM Training via Orthogonal Equivalence Transformation
June 9, 2025
Autoren: Zeju Qiu, Simon Buchholz, Tim Z. Xiao, Maximilian Dax, Bernhard Schölkopf, Weiyang Liu
cs.AI
Zusammenfassung
Während große Sprachmodelle (LLMs) die rasante Weiterentwicklung der künstlichen Intelligenz vorantreiben, bleibt die effektive und zuverlässige Ausbildung dieser großen Modelle eine der größten Herausforderungen in diesem Bereich. Um dieser Herausforderung zu begegnen, schlagen wir POET vor, einen neuartigen reparametrisierten Trainingsalgorithmus, der die Orthogonale Äquivalenztransformation zur Optimierung von Neuronen nutzt. Konkret parametrisiert POET jedes Neuron mit zwei lernbaren orthogonalen Matrizen und einer festen zufälligen Gewichtsmatrix neu. Aufgrund der nachweisbaren Erhaltung der spektralen Eigenschaften von Gewichtsmatrizen kann POET die Zielfunktion stabil optimieren und dabei die Generalisierungsfähigkeit verbessern. Wir entwickeln weiterhin effiziente Approximationen, die POET flexibel und skalierbar für das Training großer neuronaler Netzwerke machen. Umfangreiche Experimente bestätigen die Wirksamkeit und Skalierbarkeit von POET beim Training von LLMs.
English
While large language models (LLMs) are driving the rapid advancement of
artificial intelligence, effectively and reliably training these large models
remains one of the field's most significant challenges. To address this
challenge, we propose POET, a novel reParameterized training algorithm that
uses Orthogonal Equivalence Transformation to optimize neurons. Specifically,
POET reparameterizes each neuron with two learnable orthogonal matrices and a
fixed random weight matrix. Because of its provable preservation of spectral
properties of weight matrices, POET can stably optimize the objective function
with improved generalization. We further develop efficient approximations that
make POET flexible and scalable for training large-scale neural networks.
Extensive experiments validate the effectiveness and scalability of POET in
training LLMs.