Les Transformers apprennent par une augmentation progressive du rang.

Résumé

Nous identifions des dynamiques d'apprentissage incrémental dans les transformateurs, où la différence entre les poids entraînés et les poids initiaux augmente progressivement en rang. Nous prouvons rigoureusement que cela se produit sous les hypothèses simplificatrices de matrices de poids diagonales et d'une petite initialisation. Nos expériences soutiennent la théorie et montrent également que ce phénomène peut se produire en pratique sans les hypothèses simplificatrices.

English

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.

Les Transformers apprennent par une augmentation progressive du rang.

Transformers learn through gradual rank increase

Résumé

Support