Трансформеры обучаются за счёт постепенного увеличения ранга.

Transformers learn through gradual rank increase

June 12, 2023

Авторы: Enric Boix-Adsera, Etai Littwin, Emmanuel Abbe, Samy Bengio, Joshua Susskind

cs.AI

Аннотация

Мы выявляем динамику инкрементального обучения в трансформерах, где разница между обученными и начальными весами постепенно увеличивается по рангу. Мы строго доказываем, что это происходит при упрощающих предположениях о диагональных матрицах весов и малой инициализации. Наши эксперименты подтверждают теорию и также показывают, что это явление может происходить на практике без упрощающих предположений.

English

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.