Сдвиг внимания КВ улучшает языковое моделирование.

KV Shifting Attention Enhances Language Modeling

November 29, 2024

Авторы: Mingyu Xu, Wei Cheng, Bingning Wang, Weipeng Chen

cs.AI

Аннотация

Современные крупные языковые модели в основном основаны на структуре трансформеров только для декодирования, которые обладают отличными возможностями контекстного обучения (ICL). Общепризнано, что важным основанием для их способности к контекстному обучению является механизм индукционных головок, требующий как минимум двух слоев внимания. Для более эффективной реализации способности модели к индукции мы пересмотрели механизм индукционных головок и предложили внимание с сдвигом KV. Мы теоретически доказываем, что внимание с сдвигом KV снижает требования модели к глубине и ширине механизма индукционных головок. Наши экспериментальные результаты показывают, что внимание с сдвигом KV положительно влияет на обучение индукционных головок и языковое моделирование, что приводит к лучшей производительности или быстрее сходимости от игрушечных моделей к моделям предварительного обучения с более чем 10 млрд параметров.

English

The current large language models are mainly based on decode-only structure transformers, which have great in-context learning (ICL) capabilities. It is generally believed that the important foundation of its ICL capability is the induction heads mechanism, which requires at least two layers attention. In order to more efficiently implement the ability of the model's induction, we revisit the induction heads mechanism and proposed a KV shifting attention. We theoretically prove that the KV shifting attention reducing the model's requirements for the depth and width of the induction heads mechanism. Our experimental results demonstrate that KV shifting attention is beneficial to learning induction heads and language modeling, which lead to better performance or faster convergence from toy models to the pre-training models with more than 10 B parameters.