Анализы цепей LLM согласованы при обучении и масштабировании.

LLM Circuit Analyses Are Consistent Across Training and Scale

July 15, 2024

Авторы: Curt Tigges, Michael Hanna, Qinan Yu, Stella Biderman

cs.AI

Аннотация

Большинство в настоящее время используемых крупных языковых моделей (LLM) проходят непрерывное обучение или дополнительное донастройку. В отличие от этого, большинство исследований внутренних механизмов LLM фокусируются на моделях на одном снимке во времени (в конце предварительного обучения), возникает вопрос о том, обобщаются ли их результаты на реальные ситуации. Существующие исследования механизмов во времени сосредотачиваются на моделях только с кодировщиком или игрушечных моделях, которые значительно отличаются от большинства развернутых моделей. В данном исследовании мы отслеживаем, как механизмы модели, операционализированные как цепи, появляются и развиваются на протяжении 300 миллиардов токенов обучения в моделях только с декодером, в моделях от 70 миллионов до 2.8 миллиарда параметров. Мы обнаруживаем, что способности к выполнению задач и функциональные компоненты, поддерживающие их, появляются последовательно при сходных значениях токенов на различных масштабах. Более того, хотя такие компоненты могут быть реализованы различными головами внимания во времени, преобладающий алгоритм, который они реализуют, остается. Удивительно, что как сами эти алгоритмы, так и типы включенных в них компонентов могут воспроизводиться на различных масштабах модели. Эти результаты подтверждают, что анализ цепей, проведенный на небольших моделях в конце предварительного обучения, может предоставить идеи, которые по-прежнему применимы после дополнительного предварительного обучения и на различных масштабах модели.

English

Most currently deployed large language models (LLMs) undergo continuous training or additional finetuning. By contrast, most research into LLMs' internal mechanisms focuses on models at one snapshot in time (the end of pre-training), raising the question of whether their results generalize to real-world settings. Existing studies of mechanisms over time focus on encoder-only or toy models, which differ significantly from most deployed models. In this study, we track how model mechanisms, operationalized as circuits, emerge and evolve across 300 billion tokens of training in decoder-only LLMs, in models ranging from 70 million to 2.8 billion parameters. We find that task abilities and the functional components that support them emerge consistently at similar token counts across scale. Moreover, although such components may be implemented by different attention heads over time, the overarching algorithm that they implement remains. Surprisingly, both these algorithms and the types of components involved therein can replicate across model scale. These results suggest that circuit analyses conducted on small models at the end of pre-training can provide insights that still apply after additional pre-training and over model scale.