線形複雑性言語モデルのスケーリング則

Scaling Laws for Linear Complexity Language Models

June 24, 2024

著者: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong

cs.AI

要旨

大規模言語モデルにおける線形計算量モデルへの関心が高まっているが、そのスケーリング能力は依然として不確かである。本研究では、線形計算量言語モデルのスケーリング則を提示し、その拡張性の基盤を確立する。具体的には、3つの効率的な線形アーキテクチャのスケーリング挙動を検証する。これには、データ非依存の減衰を持つ線形アテンションモデルであるTNL、データ依存の減衰を持つ線形RNNであるHGRN2、減衰を持たない線形アテンションモデルであるcosFormer2が含まれる。また、比較のため、ソフトマックスアテンションのベースラインアーキテクチャとしてLLaMAを採用した。これらのモデルは、3000億トークンのコーパスを用いて7000万から70億パラメータまでの6つのバリエーションで訓練され、検証損失、常識推論、情報検索および生成といった様々な下流タスクにおいて合計1376の中間チェックポイントで評価された。本研究により、既存の線形計算量言語モデルは従来のTransformerベースのモデルと同様のスケーリング能力を示すと同時に、優れた言語能力と知識保持能力を発揮することが明らかになった。

English

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.