Le analisi dei circuiti degli LLM sono coerenti tra addestramento e scala

LLM Circuit Analyses Are Consistent Across Training and Scale

July 15, 2024

Autori: Curt Tigges, Michael Hanna, Qinan Yu, Stella Biderman

cs.AI

Abstract

La maggior parte dei grandi modelli linguistici (LLM) attualmente implementati subisce un addestramento continuo o un ulteriore affinamento. Al contrario, la maggior parte della ricerca sui meccanismi interni degli LLM si concentra su modelli in un singolo istante temporale (la fine del pre-addestramento), sollevando la questione se i loro risultati siano generalizzabili a contesti reali. Gli studi esistenti sui meccanismi nel tempo si concentrano su modelli encoder-only o su modelli giocattolo, che differiscono significativamente dalla maggior parte dei modelli implementati. In questo studio, monitoriamo come i meccanismi del modello, operazionalizzati come circuiti, emergono e si evolvono durante l'addestramento su 300 miliardi di token in LLM decoder-only, in modelli che vanno da 70 milioni a 2,8 miliardi di parametri. Scopriamo che le abilità di task e i componenti funzionali che le supportano emergono in modo coerente a conteggi di token simili attraverso diverse scale. Inoltre, sebbene tali componenti possano essere implementati da diverse teste di attenzione nel tempo, l'algoritmo generale che implementano rimane invariato. Sorprendentemente, sia questi algoritmi che i tipi di componenti coinvolti possono replicarsi attraverso diverse scale di modelli. Questi risultati suggeriscono che le analisi dei circuiti condotte su modelli piccoli alla fine del pre-addestramento possono fornire intuizioni che rimangono valide anche dopo ulteriore pre-addestramento e attraverso diverse scale di modelli.

English

Most currently deployed large language models (LLMs) undergo continuous training or additional finetuning. By contrast, most research into LLMs' internal mechanisms focuses on models at one snapshot in time (the end of pre-training), raising the question of whether their results generalize to real-world settings. Existing studies of mechanisms over time focus on encoder-only or toy models, which differ significantly from most deployed models. In this study, we track how model mechanisms, operationalized as circuits, emerge and evolve across 300 billion tokens of training in decoder-only LLMs, in models ranging from 70 million to 2.8 billion parameters. We find that task abilities and the functional components that support them emerge consistently at similar token counts across scale. Moreover, although such components may be implemented by different attention heads over time, the overarching algorithm that they implement remains. Surprisingly, both these algorithms and the types of components involved therein can replicate across model scale. These results suggest that circuit analyses conducted on small models at the end of pre-training can provide insights that still apply after additional pre-training and over model scale.