プリズム：スペクトル考慮型ブロックスパースアテンション

要旨

ブロックスパースアテンションは長文コンテキストLLMのプリフィリング加速に有望であるが、関連ブロックの効率的な特定が依然としてボトルネックとなっている。既存手法では、ブロック重要度推定の代理として粗粒度アテンションを採用することが一般的だが、高コストなトークンレベルの検索やスコアリングに依存することが多く、選択オーバーヘッドが大きい。本研究では、平均プーリングを用いた標準的な粗粒度アテンションの不正確さの原因を、回転位置埋め込み（RoPE）との理論的相互作用に遡って解明する。平均プーリングが低域通過フィルタとして機能し、高周波数次元で破壊的干渉を引き起こすことで、局所的位置情報（スラッシュパターンなど）に対する「見えない領域」が生じることを証明する。この問題に対処するため、我々は訓練不要のスペクトル認識手法Prismを提案する。これはブロック選択を高周波数分枝と低周波数分枝に分解し、エネルギー基準の温度較正を適用することで、プーリング表現から直接減衰した位置信号を復元し、純粋なブロックレベル操作による重要度推定を実現する。大規模評価により、Prismが完全アテンションと同等の精度を維持しつつ、最大5.1倍の高速化を達成することを確認した。

English

Block-sparse attention is promising for accelerating long-context LLM pre-filling, yet identifying relevant blocks efficiently remains a bottleneck. Existing methods typically employ coarse-grained attention as a proxy for block importance estimation, but often resort to expensive token-level searching or scoring, resulting in significant selection overhead. In this work, we trace the inaccuracy of standard coarse-grained attention via mean pooling to a theoretical root cause: the interaction between mean pooling and Rotary Positional Embeddings (RoPE). We prove that mean pooling acts as a low-pass filter that induces destructive interference in high-frequency dimensions, effectively creating a "blind spot" for local positional information (e.g., slash patterns). To address this, we introduce Prism, a training-free spectral-aware approach that decomposes block selection into high-frequency and low-frequency branches. By applying energy-based temperature calibration, Prism restores the attenuated positional signals directly from pooled representations, enabling block importance estimation using purely block-level operations, thereby improving efficiency. Extensive evaluations confirm that Prism maintains accuracy parity with full attention while delivering up to 5.1times speedup.

プリズム：スペクトル考慮型ブロックスパースアテンション

Prism: Spectral-Aware Block-Sparse Attention

要旨

Support