HISA: Effiziente hierarchische Indizierung für feinkörnige Sparse Attention
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
March 30, 2026
Autoren: Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Jiexi Wu, Zhixin Pan, Zhaohui Wang, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di yin, Xing Sun, Muhan Zhang
cs.AI
Zusammenfassung
Token-basierte Sparse-Attention-Mechanismen, wie sie beispielsweise durch DeepSeek Sparse Attention (DSA) verkörpert werden, erreichen eine feinkörnige Schlüsselauswahl, indem sie jeden historischen Token für jede Query mittels eines leichtgewichtigen Indexers bewerten und die Attention-Berechnung nur auf der ausgewählten Teilmenge durchführen. Während die nachgelagerte Sparse-Attention effizient skaliert, muss der Indexer für jede Query weiterhin das gesamte Präfix scannen, was einen O(L²)-Flaschenhals pro Layer verursacht, der mit wachsender Kontextlänge prohibitiv wird. Wir schlagen HISA (Hierarchical Indexed Sparse Attention) vor, einen direkten Ersatz für den Indexer, der den Suchprozess von einem flachen Token-Scan in ein zweistufiges hierarchisches Verfahren überführt. Zuerst filtert ein grober Block-Level-Filter gepoolte Blockrepräsentanten, um irrelevante Regionen auszuschließen. Anschließend wendet eine Token-Level-Verfeinerung den ursprünglichen Indexer nur innerhalb der verbleibenden Kandidatenblöcke an. HISA bewahrt das exakte Token-Level-Top-k-Sparsity-Muster, das der nachgelagerte Sparse-MLA-Operator erfordert, und benötigt kein zusätzliches Training. In Kernel-Benchmarks erreicht HISA eine 2-fache Beschleunigung bei 32K Kontextlänge und eine 4-fache bei 128K. In Needle-in-a-Haystack und LongBench ersetzen wir den Indexer in DeepSeek-V3.2 direkt durch HISA, ohne jegliche Feinabstimmung. HISA erreicht nahezu die gleiche Qualität wie das ursprüngliche DSA und übertrifft block-sparse Baseline-Modelle signifikant. Darüber hinaus weisen die von HISA und dem ursprünglichen DSA produzierten Token-Auswahlmengen einen mittleren IoU von über 99 % auf, was darauf hindeutet, dass die Effizienzgewinne praktisch keine Auswirkungen auf die Auswahltreue haben.
English
Token-level sparse attention mechanisms, exemplified by DeepSeek Sparse Attention (DSA), achieve fine-grained key selection by scoring every historical token for each query using a lightweight indexer, and then computing attention only over the selected subset. While the downstream sparse attention scales efficiently, the indexer still scans the entire prefix for every query, introducing an O(L^2) per-layer bottleneck that becomes prohibitive as context length grows. We propose HISA (Hierarchical Indexed Sparse Attention), a drop-in replacement for the indexer that transforms the search process from a flat token scan into a two-stage hierarchical procedure. First, a block-level coarse filter scores pooled block representatives to prune irrelevant regions. Then, a token-level refinement applies the original indexer only within the remaining candidate blocks. HISA preserves the exact token-level top-k sparsity pattern required by the downstream Sparse MLA operator and requires no additional training. On kernel-level benchmarks, HISA achieves a 2times speedup at 32K context length and 4times at 128K. On Needle-in-a-Haystack and LongBench, we directly replace the indexer in DeepSeek-V3.2 with HISA, without any fine-tuning. HISA closely matches the original DSA in quality while significantly outperforming block-sparse baselines. Moreover, the token selection sets produced by HISA and the original DSA exhibit a mean IoU greater than 99%, indicating that the efficiency gains come with virtually no impact on selection fidelity.