HISA: Efficiënte Hiërarchische Indexering voor Fijnmazige Sparse Attention
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
March 30, 2026
Auteurs: Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Jiexi Wu, Zhixin Pan, Zhaohui Wang, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di yin, Xing Sun, Muhan Zhang
cs.AI
Samenvatting
Token-level sparse aandachtmechanismen, zoals geïllustreerd door DeepSeek Sparse Attention (DSA), bereiken fijnmazige key-selectie door elke historische token voor elke query te scoren met een lichtgewicht indexeerder, en vervolgens aandacht alleen te berekenen over de geselecteerde subset. Hoewel de downstream sparse aandacht efficiënt schaalt, scant de indexeerder voor elke query nog steeds het volledige prefix, wat een O(L²)-bottleneck per laag introduceert die onhanteerbaar wordt naarmate de contextlengte groeit. Wij stellen HISA (Hierarchical Indexed Sparse Attention) voor, een drop-in vervanging voor de indexeerder die het zoekproces transformeert van een platte token-scan naar een tweestaps hiërarchische procedure. Eerst filtert een blokniveau grove filter gepoolde blokrepresentaties om irrelevante regio's uit te sluiten. Vervolgens past een token-niveau verfijning de originele indexeerder alleen toe binnen de overgebleven kandidaatblokken. HISA behoudt het exacte token-level top-k sparsity-patroon dat vereist is door de downstream Sparse MLA-operator en vereist geen aanvullende training. Op kernel-niveau benchmarks behaalt HISA een 2x versnelling bij een contextlengte van 32K en 4x bij 128K. Op Needle-in-a-Haystack en LongBench vervangen we de indexeerder in DeepSeek-V3.2 direct door HISA, zonder enige fine-tuning. HISA benadert de kwaliteit van de originele DSA nauwkeurig en presteert significant beter dan block-sparse baseline-modellen. Bovendien vertonen de door HISA en de originele DSA geproduceerde tokenselectiesets een gemiddelde IoU van meer dan 99%, wat aangeeft dat de efficiëntiewinsten gepaard gaan met vrijwel geen verlies aan selectiegetrouwheid.
English
Token-level sparse attention mechanisms, exemplified by DeepSeek Sparse Attention (DSA), achieve fine-grained key selection by scoring every historical token for each query using a lightweight indexer, and then computing attention only over the selected subset. While the downstream sparse attention scales efficiently, the indexer still scans the entire prefix for every query, introducing an O(L^2) per-layer bottleneck that becomes prohibitive as context length grows. We propose HISA (Hierarchical Indexed Sparse Attention), a drop-in replacement for the indexer that transforms the search process from a flat token scan into a two-stage hierarchical procedure. First, a block-level coarse filter scores pooled block representatives to prune irrelevant regions. Then, a token-level refinement applies the original indexer only within the remaining candidate blocks. HISA preserves the exact token-level top-k sparsity pattern required by the downstream Sparse MLA operator and requires no additional training. On kernel-level benchmarks, HISA achieves a 2times speedup at 32K context length and 4times at 128K. On Needle-in-a-Haystack and LongBench, we directly replace the indexer in DeepSeek-V3.2 with HISA, without any fine-tuning. HISA closely matches the original DSA in quality while significantly outperforming block-sparse baselines. Moreover, the token selection sets produced by HISA and the original DSA exhibit a mean IoU greater than 99%, indicating that the efficiency gains come with virtually no impact on selection fidelity.