LLM-Schaltkreisanalysen sind konsistent über Training und Skala hinweg.

LLM Circuit Analyses Are Consistent Across Training and Scale

July 15, 2024

Autoren: Curt Tigges, Michael Hanna, Qinan Yu, Stella Biderman

cs.AI

Zusammenfassung

Die meisten derzeit eingesetzten großen Sprachmodelle (LLMs) werden kontinuierlich trainiert oder zusätzlich feinabgestimmt. Im Gegensatz dazu konzentriert sich die meiste Forschung zu den internen Mechanismen von LLMs auf Modelle zu einem Zeitpunkt (dem Ende des Vortrainings), was die Frage aufwirft, ob ihre Ergebnisse auf realen Umgebungen verallgemeinert werden können. Existierende Studien zu Mechanismen über die Zeit konzentrieren sich auf reine Encoder-Modelle oder Spielzeugmodelle, die sich signifikant von den meisten eingesetzten Modellen unterscheiden. In dieser Studie verfolgen wir, wie sich Modellmechanismen, operationalisiert als Schaltkreise, über 300 Milliarden Tokens des Trainings in ausschließlich dekodierenden LLMs entwickeln und verändern, in Modellen mit einer Parameteranzahl von 70 Millionen bis 2,8 Milliarden. Wir stellen fest, dass Aufgabenfähigkeiten und die funktionalen Komponenten, die sie unterstützen, konsistent bei ähnlichen Tokenanzahlen über verschiedene Maßstäbe hinweg entstehen. Darüber hinaus, obwohl solche Komponenten im Laufe der Zeit von verschiedenen Aufmerksamkeitsköpfen implementiert werden können, bleibt der übergreifende Algorithmus, den sie implementieren, bestehen. Überraschenderweise können sowohl diese Algorithmen als auch die Arten von darin involvierten Komponenten über Modellmaßstäbe hinweg repliziert werden. Diese Ergebnisse legen nahe, dass Schaltkreisanalysen, die an kleinen Modellen am Ende des Vortrainings durchgeführt werden, Einblicke liefern können, die auch nach zusätzlichem Vortraining und über Modellmaßstäbe hinweg relevant sind.

English

Most currently deployed large language models (LLMs) undergo continuous training or additional finetuning. By contrast, most research into LLMs' internal mechanisms focuses on models at one snapshot in time (the end of pre-training), raising the question of whether their results generalize to real-world settings. Existing studies of mechanisms over time focus on encoder-only or toy models, which differ significantly from most deployed models. In this study, we track how model mechanisms, operationalized as circuits, emerge and evolve across 300 billion tokens of training in decoder-only LLMs, in models ranging from 70 million to 2.8 billion parameters. We find that task abilities and the functional components that support them emerge consistently at similar token counts across scale. Moreover, although such components may be implemented by different attention heads over time, the overarching algorithm that they implement remains. Surprisingly, both these algorithms and the types of components involved therein can replicate across model scale. These results suggest that circuit analyses conducted on small models at the end of pre-training can provide insights that still apply after additional pre-training and over model scale.