Transformers aprendem através do aumento gradual de rank.

Transformers learn through gradual rank increase

June 12, 2023

Autores: Enric Boix-Adsera, Etai Littwin, Emmanuel Abbe, Samy Bengio, Joshua Susskind

cs.AI

Resumo

Identificamos dinâmicas de aprendizado incremental em transformadores, onde a diferença entre os pesos treinados e iniciais aumenta progressivamente em rank. Demonstramos rigorosamente que isso ocorre sob as suposições simplificadoras de matrizes de pesos diagonais e inicialização pequena. Nossos experimentos corroboram a teoria e também mostram que o fenômeno pode ocorrer na prática sem as suposições simplificadoras.

English

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.