Zebra: 階層別グループ化ローカル-グローバルアテンションによるコンテキストウィンドウの拡張

要旨

本論文は、大規模なテキストシーケンスの処理と理解において、大規模言語モデル（LLMs）の能力を向上させる新たなアプローチを紹介する。これは、大量の情報の深い理解と統合を必要とするアプリケーションにおいて重要な側面である。Transformerアーキテクチャを基盤とするLLMsのコンテキストウィンドウを拡張する際の本質的な課題を認識し、我々はZebraと呼ばれる新しいモデルアーキテクチャを提案する。このアーキテクチャは、Transformerにおける完全な注意機構に伴う二次的な時間とメモリの複雑性の問題を、グループ化された局所的・大域的注意層を採用することで効率的に管理する。シマウマの交互に並ぶ縞模様に似たこのモデルは、局所的注意層と大域的注意層をバランスよく配置し、計算要件とメモリ消費を大幅に削減する。Zebraの性能を評価するため、ゼロからの事前学習、長いコンテキスト適応訓練の継続、長い指示チューニングを含む包括的な実験が行われた。その結果、Zebraは短いシーケンスと長いシーケンスの両方のベンチマークにおいて同等または優れた性能を達成し、訓練と推論の効率も向上させることが示された。

English

This paper introduces a novel approach to enhance the capabilities of Large Language Models (LLMs) in processing and understanding extensive text sequences, a critical aspect in applications requiring deep comprehension and synthesis of large volumes of information. Recognizing the inherent challenges in extending the context window for LLMs, primarily built on Transformer architecture, we propose a new model architecture, referred to as Zebra. This architecture efficiently manages the quadratic time and memory complexity issues associated with full attention in the Transformer by employing grouped local-global attention layers. Our model, akin to a zebra's alternating stripes, balances local and global attention layers, significantly reducing computational requirements and memory consumption. Comprehensive experiments, including pretraining from scratch, continuation of long context adaptation training, and long instruction tuning, are conducted to evaluate the Zebra's performance. The results show that Zebra achieves comparable or superior performance on both short and long sequence benchmarks, while also enhancing training and inference efficiency.

Zebra: 階層別グループ化ローカル-グローバルアテンションによるコンテキストウィンドウの拡張

Zebra: Extending Context Window with Layerwise Grouped Local-Global Attention

要旨

Support