Jenseits von Skalierungsgesetzen: Verständnis der Leistungsfähigkeit von Transformatoren mit assoziativem Gedächtnis

Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory

May 14, 2024

Autoren: Xueyan Niu, Bo Bai, Lei Deng, Wei Han

cs.AI

Zusammenfassung

Die Vergrößerung eines Transformer-Modells führt nicht immer zu einer verbesserten Leistung. Dieses Phänomen kann nicht durch die empirischen Skalierungsgesetze erklärt werden. Darüber hinaus tritt eine verbesserte Verallgemeinerungsfähigkeit auf, wenn das Modell die Trainingsdaten auswendig lernt. Wir präsentieren einen theoretischen Rahmen, der Licht auf den Memorisierungsprozess und die Leistungsdynamik von auf Transformatoren basierenden Sprachmodellen wirft. Wir modellieren das Verhalten von Transformatoren mit assoziativen Gedächtnissen unter Verwendung von Hopfield-Netzwerken, so dass jeder Transformer-Block effektiv eine ungefähre nächste-Nachbar-Suche durchführt. Basierend darauf entwerfen wir eine Energiefunktion, die der in modernen kontinuierlichen Hopfield-Netzwerken ähnelt und eine aufschlussreiche Erklärung für den Aufmerksamkeitsmechanismus liefert. Unter Verwendung der Majorisierungs-Minimierungs-Technik konstruieren wir eine globale Energiefunktion, die die geschichtete Architektur des Transformers erfasst. Unter spezifischen Bedingungen zeigen wir, dass der minimal erreichbare Kreuzentropieverlust von unten durch eine Konstante begrenzt ist, die ungefähr gleich 1 ist. Wir untermauern unsere theoretischen Ergebnisse, indem wir Experimente mit GPT-2 in verschiedenen Datengrößen sowie das Training von einfachen Transformatoren auf einem Datensatz von 2 Millionen Tokens durchführen.

English

Increasing the size of a Transformer model does not always lead to enhanced performance. This phenomenon cannot be explained by the empirical scaling laws. Furthermore, improved generalization ability occurs as the model memorizes the training samples. We present a theoretical framework that sheds light on the memorization process and performance dynamics of transformer-based language models. We model the behavior of Transformers with associative memories using Hopfield networks, such that each transformer block effectively conducts an approximate nearest-neighbor search. Based on this, we design an energy function analogous to that in the modern continuous Hopfield network which provides an insightful explanation for the attention mechanism. Using the majorization-minimization technique, we construct a global energy function that captures the layered architecture of the Transformer. Under specific conditions, we show that the minimum achievable cross-entropy loss is bounded from below by a constant approximately equal to 1. We substantiate our theoretical results by conducting experiments with GPT-2 on various data sizes, as well as training vanilla Transformers on a dataset of 2M tokens.