Zebra: Uitbreiding van Contextvenster met Laaggewijs Gegroepeerde Lokaal-Globale Aandacht

Zebra: Extending Context Window with Layerwise Grouped Local-Global Attention

December 14, 2023

Auteurs: Kaiqiang Song, Xiaoyang Wang, Sangwoo Cho, Xiaoman Pan, Dong Yu

cs.AI

Samenvatting

Dit artikel introduceert een nieuwe aanpak om de mogelijkheden van Large Language Models (LLMs) te verbeteren bij het verwerken en begrijpen van uitgebreide tekstsequenties, een cruciaal aspect in toepassingen die diepgaand begrip en synthese van grote hoeveelheden informatie vereisen. Erkennend de inherente uitdagingen bij het uitbreiden van het contextvenster voor LLMs, die voornamelijk zijn gebouwd op de Transformer-architectuur, stellen we een nieuw modelarchitectuur voor, genaamd Zebra. Deze architectuur beheert efficiënt de kwadratische tijd- en geheugencomplexiteitsproblemen die gepaard gaan met volledige aandacht in de Transformer door gebruik te maken van gegroepeerde lokaal-globale aandachtslagen. Ons model, vergelijkbaar met de afwisselende strepen van een zebra, balanceert lokale en globale aandachtslagen, waardoor de rekenkundige vereisten en het geheugengebruik aanzienlijk worden verminderd. Uitgebreide experimenten, waaronder pretraining vanaf nul, voortzetting van lange contextaanpassingstraining en lange instructieafstemming, worden uitgevoerd om de prestaties van Zebra te evalueren. De resultaten tonen aan dat Zebra vergelijkbare of superieure prestaties behaalt op zowel korte als lange sequentiebenchmarks, terwijl ook de trainings- en inferentie-efficiëntie wordt verbeterd.

English

This paper introduces a novel approach to enhance the capabilities of Large Language Models (LLMs) in processing and understanding extensive text sequences, a critical aspect in applications requiring deep comprehension and synthesis of large volumes of information. Recognizing the inherent challenges in extending the context window for LLMs, primarily built on Transformer architecture, we propose a new model architecture, referred to as Zebra. This architecture efficiently manages the quadratic time and memory complexity issues associated with full attention in the Transformer by employing grouped local-global attention layers. Our model, akin to a zebra's alternating stripes, balances local and global attention layers, significantly reducing computational requirements and memory consumption. Comprehensive experiments, including pretraining from scratch, continuation of long context adaptation training, and long instruction tuning, are conducted to evaluate the Zebra's performance. The results show that Zebra achieves comparable or superior performance on both short and long sequence benchmarks, while also enhancing training and inference efficiency.