KV-Verschiebung der Aufmerksamkeit verbessert das Sprachmodellieren.

KV Shifting Attention Enhances Language Modeling

November 29, 2024

Autoren: Mingyu Xu, Wei Cheng, Bingning Wang, Weipeng Chen

cs.AI

Zusammenfassung

Die aktuellen großen Sprachmodelle basieren hauptsächlich auf Dekodierungs-Struktur-Transformatoren, die über ausgezeichnete Fähigkeiten zum kontextbezogenen Lernen (ICL) verfügen. Es wird allgemein angenommen, dass die wichtige Grundlage ihrer ICL-Fähigkeit der Induktionskopfmechanismus ist, der mindestens zwei Schichten Aufmerksamkeit erfordert. Um die Fähigkeit der Modellinduktion effizienter umzusetzen, überprüfen wir den Induktionskopfmechanismus erneut und schlagen eine KV-Verschiebungs-Aufmerksamkeit vor. Wir weisen theoretisch nach, dass die KV-Verschiebungs-Aufmerksamkeit die Anforderungen des Modells an die Tiefe und Breite des Induktionskopfmechanismus reduziert. Unsere experimentellen Ergebnisse zeigen, dass die KV-Verschiebungs-Aufmerksamkeit vorteilhaft für das Lernen von Induktionsköpfen und Sprachmodellierung ist, was zu einer besseren Leistung oder schnelleren Konvergenz von Spielzeugmodellen zu den Vor-Trainingsmodellen mit mehr als 10 B Parametern führt.

English

The current large language models are mainly based on decode-only structure transformers, which have great in-context learning (ICL) capabilities. It is generally believed that the important foundation of its ICL capability is the induction heads mechanism, which requires at least two layers attention. In order to more efficiently implement the ability of the model's induction, we revisit the induction heads mechanism and proposed a KV shifting attention. We theoretically prove that the KV shifting attention reducing the model's requirements for the depth and width of the induction heads mechanism. Our experimental results demonstrate that KV shifting attention is beneficial to learning induction heads and language modeling, which lead to better performance or faster convergence from toy models to the pre-training models with more than 10 B parameters.