Перепараметризованное обучение больших языковых моделей с помощью ортогональных эквивалентных преобразований

Reparameterized LLM Training via Orthogonal Equivalence Transformation

June 9, 2025

Авторы: Zeju Qiu, Simon Buchholz, Tim Z. Xiao, Maximilian Dax, Bernhard Schölkopf, Weiyang Liu

cs.AI

Аннотация

Хотя крупные языковые модели (LLM) способствуют стремительному развитию искусственного интеллекта, эффективное и надежное обучение таких моделей остается одной из наиболее значительных проблем в этой области. Для решения этой проблемы мы предлагаем POET — новый алгоритм обучения с перепараметризацией, который использует ортогональное эквивалентное преобразование для оптимизации нейронов. В частности, POET перепараметризует каждый нейрон с помощью двух обучаемых ортогональных матриц и фиксированной случайной матрицы весов. Благодаря доказательному сохранению спектральных свойств матриц весов, POET позволяет стабильно оптимизировать целевую функцию с улучшенной обобщающей способностью. Мы также разработали эффективные аппроксимации, которые делают POET гибким и масштабируемым для обучения крупномасштабных нейронных сетей. Многочисленные эксперименты подтверждают эффективность и масштабируемость POET при обучении крупных языковых моделей.

English

While large language models (LLMs) are driving the rapid advancement of artificial intelligence, effectively and reliably training these large models remains one of the field's most significant challenges. To address this challenge, we propose POET, a novel reParameterized training algorithm that uses Orthogonal Equivalence Transformation to optimize neurons. Specifically, POET reparameterizes each neuron with two learnable orthogonal matrices and a fixed random weight matrix. Because of its provable preservation of spectral properties of weight matrices, POET can stably optimize the objective function with improved generalization. We further develop efficient approximations that make POET flexible and scalable for training large-scale neural networks. Extensive experiments validate the effectiveness and scalability of POET in training LLMs.