Transformer lernen durch schrittweise Rangzunahme.

Zusammenfassung

Wir identifizieren inkrementelle Lern-Dynamiken in Transformern, bei denen der Unterschied zwischen trainierten und initialen Gewichten progressiv im Rang ansteigt. Wir beweisen dies rigoros unter den vereinfachenden Annahmen von diagonalen Gewichtsmatrizen und kleiner Initialisierung. Unsere Experimente unterstützen die Theorie und zeigen zudem, dass dieses Phänomen in der Praxis auch ohne die vereinfachenden Annahmen auftreten kann.

English

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.

Transformer lernen durch schrittweise Rangzunahme.

Transformers learn through gradual rank increase

Zusammenfassung

Support