CRISP：崖を考慮した入力適応型スパースプレフィリング（構造的質量に基づくルーティングを伴う）

要旨

長文コンテキストのLLM推論におけるアテンションのプリフィリング段階は二次関数的にスケールするため、セルフアテンションが深刻な計算上のボトルネックとなる。従来のスパースアテンション手法は、固定パターンやオフラインでのプロファイリングを通じてこの問題を緩和してきたが、入力依存のアテンション構造に適応する柔軟性を欠いている。近年の動的手法は、ヘッドをスパースパターンへリアルタイムにルーティングすることでこの課題に対処しているが、間接的なルーティング代理指標に依存したオーバーヘッドと、ソフトマックス後の質量階層を見落とす予算配分メカニズムに問題がある。本稿では、CRISP（Cliff-awaRe Input-adaptive Sparse Prefilling）を提案する。これは、この動的ルーティングパラダイムにおける2つの構造的課題を特定し、対処するものである。第一に、ルーティング決定が代理アテンションマップの構造から直接読み取れることを示す。我々は、Jensen-Shannon Divergence（JSD）ルーティングをC_structに置き換える。C_structは、Vertical-Slash互換位置における質量を測定する構造的代理指標であり、プーリングされた行列乗算とそれに続くKLダイバージェンスのオーバーヘッドの両方を排除しながら、JSDのルーティング決定を再現する。第二に、ソフトマックス後の質量クリフを形式化し、厳密な累積カバレッジ閾値が長文コンテキストにおいてO(n)の背景ノイズを蓄積することを理論的に実証する。CRISPは、ノイズフロアに基づくシンク認識型閾値によりこの問題を回避する。実証的には、InfiniteBench、RULER、LongBenchの2つのモデルファミリーにわたって、CRISPは全体として最強のスパース手法であり、検索中心のベンチマークにおいて厳密なデンスアテンションに匹敵するかそれを上回り、ベースラインと比較して検索タスクで最大+28.0ポイントを回復し、512kトークンにおいて主に選択時のO(n)ノイズ除去と構造的整合性の維持により、最大5.30倍のアテンション高速化を達成する。

English

The attention prefilling phase of long-context LLM inference scales quadratically, making self-attention a severe computational bottleneck. Traditional sparse attention methods mitigate this through fixed patterns or offline profiling, but lack the flexibility to adapt to input-dependent attention structure. Recent dynamic methods address this by routing heads to sparse patterns in real-time, but rely on indirect routing proxies with overhead and budget allocation mechanisms that overlook the post-softmax mass hierarchy. We present CRISP (Cliff-awaRe Input-adaptive Sparse Prefilling), which identifies and addresses two structural challenges in this dynamic routing paradigm. First, we show that the routing decision can be read directly off the structure of the proxy attention map. We replace the Jensen-Shannon Divergence (JSD) routing with C_struct, a structural proxy that measures mass at Vertical-Slash compatible positions and reproduces JSD's routing decisions while eliminating both the pooled matmul and subsequent KL divergence overhead. Second, we formalize the post-softmax mass cliff and demonstrate theoretically that strictly cumulative coverage thresholds accumulate O(n) background noise at long contexts. CRISP navigates this via a sink-aware threshold grounded in the noise floor. Empirically, across InfiniteBench, RULER and LongBench on two model families, CRISP is the strongest sparse method overall and matches or exceeds exact dense attention on retrieval-heavy benchmarks, recovering up to +28.0 pp on retrieval tasks over baselines and achieving up to a 5.30x attention speedup at 512k tokens, driven primarily by our O(n) noise elimination during selection while preserving structural integrity.