Los Transformers aprenden mediante un aumento gradual de rango.

Resumen

Identificamos dinámicas de aprendizaje incremental en transformadores, donde la diferencia entre los pesos entrenados y los iniciales aumenta progresivamente en rango. Demostramos rigurosamente que esto ocurre bajo las suposiciones simplificadoras de matrices de pesos diagonales y una inicialización pequeña. Nuestros experimentos respaldan la teoría y también muestran que este fenómeno puede ocurrir en la práctica sin las suposiciones simplificadoras.

English

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.

Los Transformers aprenden mediante un aumento gradual de rango.

Transformers learn through gradual rank increase

Resumen

Support