La mise en œuvre de l'attention décalée KV améliore la modélisation du langage.

KV Shifting Attention Enhances Language Modeling

November 29, 2024

Auteurs: Mingyu Xu, Wei Cheng, Bingning Wang, Weipeng Chen

cs.AI

Résumé

Les modèles de langage actuels reposent principalement sur des transformateurs à structure de décodage uniquement, qui présentent de grandes capacités d'apprentissage en contexte (ICL). Il est généralement admis que la base importante de sa capacité ICL est le mécanisme des têtes inductives, qui nécessite au moins deux couches d'attention. Afin de mettre en œuvre de manière plus efficace la capacité d'induction du modèle, nous revisitons le mécanisme des têtes inductives et proposons une attention à décalage KV. Nous démontrons théoriquement que l'attention à décalage KV réduit les exigences du modèle en termes de profondeur et de largeur du mécanisme des têtes inductives. Nos résultats expérimentaux montrent que l'attention à décalage KV est bénéfique pour l'apprentissage des têtes inductives et de la modélisation linguistique, ce qui se traduit par de meilleures performances ou une convergence plus rapide, des modèles jouets aux modèles de pré-entraînement avec plus de 10 milliards de paramètres.

English

The current large language models are mainly based on decode-only structure transformers, which have great in-context learning (ICL) capabilities. It is generally believed that the important foundation of its ICL capability is the induction heads mechanism, which requires at least two layers attention. In order to more efficiently implement the ability of the model's induction, we revisit the induction heads mechanism and proposed a KV shifting attention. We theoretically prove that the KV shifting attention reducing the model's requirements for the depth and width of the induction heads mechanism. Our experimental results demonstrate that KV shifting attention is beneficial to learning induction heads and language modeling, which lead to better performance or faster convergence from toy models to the pre-training models with more than 10 B parameters.