スパースフロンティア：トランスフォーマーLLMにおけるスパースアテンションのトレードオフ

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

April 24, 2025

著者: Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti

cs.AI

要旨

スパースアテンションは、Transformer LLMの長文脈処理能力を拡張する有望な戦略を提供するが、その実現可能性、効率性と精度のトレードオフ、体系的なスケーリング研究は未だ検討されていない。このギャップを埋めるため、我々は多様な長文タスク（自然言語を利用しつつ制御可能で評価が容易な新規タスクを含む）において、モデル規模、シーケンス長、スパースレベルを変えながら、訓練不要のスパースアテンション手法を慎重に比較した。実験に基づき、以下の主要な知見を報告する：1) isoFLOPS分析により、非常に長いシーケンスでは、大規模で高度にスパースなモデルが小規模で密なモデルよりも好ましいことが明らかになった。2) 精度保持を統計的に保証しつつ達成可能なスパースレベルは、デコード時がプリフィル時よりも高く、前者ではモデル規模と相関する。3) タスクやフェーズ全体で最良のパフォーマンスを示す明確な戦略は存在せず、異なるシナリオでは異なるスパース化単位や予算適応性が必要となる。中程度のスパースレベルでも、少なくとも1つのタスクで性能が大幅に低下することが多く、スパースアテンションが万能の解決策ではないことが強調される。4) スパースアテンションに特化した新規スケーリング則を導入し検証し、我々の知見が実験範囲を超えて有効である可能性を示す証拠を提供した。これらの洞察を通じて、スパースアテンションがTransformer LLMの長文処理能力を強化する鍵となるツールであるが、性能が重要なアプリケーションではトレードオフを慎重に評価する必要があることを示した。

English

Sparse attention offers a promising strategy to extend long-context capabilities in Transformer LLMs, yet its viability, its efficiency-accuracy trade-offs, and systematic scaling studies remain unexplored. To address this gap, we perform a careful comparison of training-free sparse attention methods at varying model scales, sequence lengths, and sparsity levels on a diverse collection of long-sequence tasks-including novel ones that rely on natural language while remaining controllable and easy to evaluate. Based on our experiments, we report a series of key findings: 1) an isoFLOPS analysis reveals that for very long sequences, larger and highly sparse models are preferable to smaller and dense ones. 2) The level of sparsity attainable while statistically guaranteeing accuracy preservation is higher during decoding than prefilling, and correlates with model size in the former. 3) There is no clear strategy that performs best across tasks and phases, with different units of sparsification or budget adaptivity needed for different scenarios. Even moderate sparsity levels often result in significant performance degradation on at least one task, highlighting that sparse attention is not a universal solution. 4) We introduce and validate novel scaling laws specifically tailored for sparse attention, providing evidence that our findings are likely to hold true beyond our range of experiments. Through these insights, we demonstrate that sparse attention is a key tool to enhance the capabilities of Transformer LLMs for processing longer sequences, but requires careful evaluation of trade-offs for performance-sensitive applications.