As análises de circuito LLM são consistentes em treinamento e escala.

LLM Circuit Analyses Are Consistent Across Training and Scale

July 15, 2024

Autores: Curt Tigges, Michael Hanna, Qinan Yu, Stella Biderman

cs.AI

Resumo

A maioria dos grandes modelos de linguagem (LLMs) atualmente implantados passam por treinamento contínuo ou ajustes adicionais. Em contraste, a maioria das pesquisas sobre os mecanismos internos dos LLMs foca em modelos em um único momento no tempo (o final do pré-treinamento), levantando a questão se seus resultados se generalizam para configurações do mundo real. Estudos existentes sobre mecanismos ao longo do tempo se concentram em modelos apenas com codificadores ou modelos simplificados, que diferem significativamente da maioria dos modelos implantados. Neste estudo, acompanhamos como os mecanismos do modelo, operacionalizados como circuitos, emergem e evoluem ao longo de 300 bilhões de tokens de treinamento em LLMs apenas com decodificadores, em modelos variando de 70 milhões a 2,8 bilhões de parâmetros. Descobrimos que as habilidades da tarefa e os componentes funcionais que as sustentam emergem consistentemente em contagens de tokens semelhantes em diferentes escalas. Além disso, embora esses componentes possam ser implementados por diferentes cabeças de atenção ao longo do tempo, o algoritmo principal que eles implementam permanece. Surpreendentemente, tanto esses algoritmos quanto os tipos de componentes envolvidos podem ser replicados em diferentes escalas de modelo. Esses resultados sugerem que análises de circuitos realizadas em modelos pequenos no final do pré-treinamento podem fornecer insights que ainda se aplicam após treinamento adicional e em diferentes escalas de modelo.

English

Most currently deployed large language models (LLMs) undergo continuous training or additional finetuning. By contrast, most research into LLMs' internal mechanisms focuses on models at one snapshot in time (the end of pre-training), raising the question of whether their results generalize to real-world settings. Existing studies of mechanisms over time focus on encoder-only or toy models, which differ significantly from most deployed models. In this study, we track how model mechanisms, operationalized as circuits, emerge and evolve across 300 billion tokens of training in decoder-only LLMs, in models ranging from 70 million to 2.8 billion parameters. We find that task abilities and the functional components that support them emerge consistently at similar token counts across scale. Moreover, although such components may be implemented by different attention heads over time, the overarching algorithm that they implement remains. Surprisingly, both these algorithms and the types of components involved therein can replicate across model scale. These results suggest that circuit analyses conducted on small models at the end of pre-training can provide insights that still apply after additional pre-training and over model scale.