Transformer-Schichten als Maler

Transformer Layers as Painters

July 12, 2024

Autoren: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Zusammenfassung

Trotz ihrer nahezu universellen Verwendung für große Sprachmodelle sind die internen Funktionsweisen von Transformatoren nicht gut verstanden. Unser Ziel ist es, die Auswirkungen des Entfernens oder Neuorganisierens von Informationen in den Schichten eines vorab trainierten Transformers besser zu verstehen. Ein solches Verständnis könnte sowohl zu einer besseren Nutzung bestehender Modelle führen als auch architektonische Verbesserungen ermöglichen, um neue Varianten zu entwickeln. Wir präsentieren eine Reihe empirischer Studien an eingefrorenen Modellen, die zeigen, dass sich die unteren und finalen Schichten vorab trainierter Transformer von den mittleren Schichten unterscheiden, aber dass die mittleren Schichten überraschend einheitlich sind. Darüber hinaus zeigen wir, dass einige Problemklassen eine Robustheit gegenüber dem Überspringen von Schichten aufweisen, indem die Schichten in einer anderen Reihenfolge als beim Training ausgeführt werden oder parallel laufen. Unsere Beobachtungen legen nahe, dass selbst eingefrorene vorab trainierte Modelle möglicherweise geschickt Genauigkeit gegen Latenz eintauschen können, indem Schichten übersprungen oder Schichten parallel ausgeführt werden.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.