Focused Transformer: Kontrastives Training für Kontextskalierung

Focused Transformer: Contrastive Training for Context Scaling

July 6, 2023

Autoren: Szymon Tworkowski, Konrad Staniszewski, Mikołaj Pacek, Yuhuai Wu, Henryk Michalewski, Piotr Miłoś

cs.AI

Zusammenfassung

Große Sprachmodelle verfügen über eine außergewöhnliche Fähigkeit, neue Informationen kontextbezogen zu integrieren. Das volle Potenzial eines solchen Ansatzes wird jedoch oft durch eine Begrenzung der effektiven Kontextlänge eingeschränkt. Eine Lösung für dieses Problem besteht darin, einer Attention-Schicht Zugriff auf ein externes Speichersystem zu gewähren, das aus (Schlüssel, Wert)-Paaren besteht. Doch mit zunehmender Anzahl von Dokumenten verringert sich der Anteil relevanter Schlüssel im Vergleich zu irrelevanten, was dazu führt, dass das Modell stärker auf irrelevante Schlüssel fokussiert. Wir identifizieren eine wesentliche Herausforderung, die wir als das Ablenkungsproblem bezeichnen: Schlüssel, die mit unterschiedlichen semantischen Werten verknüpft sind, können sich überschneiden, was ihre Unterscheidung erschwert. Um dieses Problem zu lösen, stellen wir den Focused Transformer (FoT) vor, eine Technik, die einen Trainingsprozess inspiriert vom kontrastiven Lernen nutzt. Dieser neuartige Ansatz verbessert die Struktur des (Schlüssel, Wert)-Raums und ermöglicht eine Erweiterung der Kontextlänge. Unsere Methode erlaubt die Feinabstimmung bestehender, großskaliger Modelle, um deren effektiven Kontext zu verlängern. Dies demonstrieren wir durch die Feinabstimmung von 3B- und 7B-OpenLLaMA-Checkpoints. Die daraus resultierenden Modelle, die wir LongLLaMA nennen, zeigen Fortschritte bei Aufgaben, die einen langen Kontext erfordern. Wir verdeutlichen weiterhin, dass unsere LongLLaMA-Modelle eine Kontextlänge von 256 k für die Passkey-Rückgewinnung geschickt handhaben.

English

Large language models have an exceptional capability to incorporate new information in a contextual manner. However, the full potential of such an approach is often restrained due to a limitation in the effective context length. One solution to this issue is to endow an attention layer with access to an external memory, which comprises of (key, value) pairs. Yet, as the number of documents increases, the proportion of relevant keys to irrelevant ones decreases, leading the model to focus more on the irrelevant keys. We identify a significant challenge, dubbed the distraction issue, where keys linked to different semantic values might overlap, making them hard to distinguish. To tackle this problem, we introduce the Focused Transformer (FoT), a technique that employs a training process inspired by contrastive learning. This novel approach enhances the structure of the (key, value) space, enabling an extension of the context length. Our method allows for fine-tuning pre-existing, large-scale models to lengthen their effective context. This is demonstrated by our fine-tuning of 3B and 7B OpenLLaMA checkpoints. The resulting models, which we name LongLLaMA, exhibit advancements in tasks requiring a long context. We further illustrate that our LongLLaMA models adeptly manage a 256 k context length for passkey retrieval.