Treinamento de LLM Reparametrizado via Transformação de Equivalência Ortogonal

Reparameterized LLM Training via Orthogonal Equivalence Transformation

June 9, 2025

Autores: Zeju Qiu, Simon Buchholz, Tim Z. Xiao, Maximilian Dax, Bernhard Schölkopf, Weiyang Liu

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) estejam impulsionando o rápido avanço da inteligência artificial, treinar esses modelos grandes de forma eficaz e confiável continua sendo um dos desafios mais significativos da área. Para enfrentar esse desafio, propomos o POET, um novo algoritmo de treinamento reparametrizado que utiliza Transformação de Equivalência Ortogonal para otimizar neurônios. Especificamente, o POET reparametriza cada neurônio com duas matrizes ortogonais aprendíveis e uma matriz de pesos fixa e aleatória. Devido à sua capacidade comprovada de preservar as propriedades espectrais das matrizes de pesos, o POET pode otimizar de forma estável a função objetivo com uma generalização aprimorada. Desenvolvemos ainda aproximações eficientes que tornam o POET flexível e escalável para o treinamento de redes neurais em grande escala. Experimentos extensivos validam a eficácia e a escalabilidade do POET no treinamento de LLMs.

English

While large language models (LLMs) are driving the rapid advancement of artificial intelligence, effectively and reliably training these large models remains one of the field's most significant challenges. To address this challenge, we propose POET, a novel reParameterized training algorithm that uses Orthogonal Equivalence Transformation to optimize neurons. Specifically, POET reparameterizes each neuron with two learnable orthogonal matrices and a fixed random weight matrix. Because of its provable preservation of spectral properties of weight matrices, POET can stably optimize the objective function with improved generalization. We further develop efficient approximations that make POET flexible and scalable for training large-scale neural networks. Extensive experiments validate the effectiveness and scalability of POET in training LLMs.