LLM-circuitanalyses zijn consistent over training en schaal.

LLM Circuit Analyses Are Consistent Across Training and Scale

July 15, 2024

Auteurs: Curt Tigges, Michael Hanna, Qinan Yu, Stella Biderman

cs.AI

Samenvatting

De meeste momenteel ingezette grote taalmodellen (LLM's) ondergaan continue training of aanvullende finetuning. In tegenstelling hiermee richt het meeste onderzoek naar de interne mechanismen van LLM's zich op modellen op één moment in de tijd (het einde van de pre-training), wat de vraag oproept of hun resultaten generaliseerbaar zijn naar real-world situaties. Bestaande studies naar mechanismen over tijd richten zich op encoder-only of speelgoedmodellen, die aanzienlijk verschillen van de meeste ingezette modellen. In deze studie volgen we hoe modelmechanismen, geoperationaliseerd als circuits, ontstaan en evolueren over 300 miljard tokens van training in decoder-only LLM's, in modellen variërend van 70 miljoen tot 2,8 miljard parameters. We ontdekken dat taakvaardigheden en de functionele componenten die deze ondersteunen consistent ontstaan bij vergelijkbare tokenaantallen over verschillende schalen. Bovendien, hoewel dergelijke componenten in de loop van de tijd door verschillende aandachtskoppen kunnen worden geïmplementeerd, blijft het overkoepelende algoritme dat ze implementeren hetzelfde. Verrassend genoeg kunnen zowel deze algoritmen als de typen componenten die daarbij betrokken zijn zich repliceren over modelschaal. Deze resultaten suggereren dat circuitanalyses uitgevoerd op kleine modellen aan het einde van de pre-training inzichten kunnen bieden die nog steeds van toepassing zijn na aanvullende pre-training en over modelschaal.

English

Most currently deployed large language models (LLMs) undergo continuous training or additional finetuning. By contrast, most research into LLMs' internal mechanisms focuses on models at one snapshot in time (the end of pre-training), raising the question of whether their results generalize to real-world settings. Existing studies of mechanisms over time focus on encoder-only or toy models, which differ significantly from most deployed models. In this study, we track how model mechanisms, operationalized as circuits, emerge and evolve across 300 billion tokens of training in decoder-only LLMs, in models ranging from 70 million to 2.8 billion parameters. We find that task abilities and the functional components that support them emerge consistently at similar token counts across scale. Moreover, although such components may be implemented by different attention heads over time, the overarching algorithm that they implement remains. Surprisingly, both these algorithms and the types of components involved therein can replicate across model scale. These results suggest that circuit analyses conducted on small models at the end of pre-training can provide insights that still apply after additional pre-training and over model scale.