HISA : Indexation hiérarchique efficace pour l'attention clairsemée à granularité fine
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
March 30, 2026
Auteurs: Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Jiexi Wu, Zhixin Pan, Zhaohui Wang, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di yin, Xing Sun, Muhan Zhang
cs.AI
Résumé
Les mécanismes d'attention éparse au niveau token, illustrés par l'attention éparse DeepSeek (DSA), réalisent une sélection fine des clés en évaluant chaque token historique pour chaque requête à l'aide d'un indexeur léger, puis en calculant l'attention uniquement sur le sous-ensemble sélectionné. Bien que l'attention éparse en aval soit efficacement scalable, l'indexeur doit encore parcourir l'intégralité du préfixe pour chaque requête, introduisant un goulot d'étranglement en O(L²) par couche qui devient prohibitif avec l'augmentation de la longueur du contexte. Nous proposons HISA (Hierarchical Indexed Sparse Attention), un remplacement direct de l'indexeur qui transforme le processus de recherche d'un balayage token plat en une procédure hiérarchique à deux étapes. Premièrement, un filtre grossier au niveau des blocs évalue des représentants agrégés de blocs pour éliminer les régions non pertinentes. Ensuite, un raffinement au niveau token applique l'indexeur original uniquement dans les blocs candidats restants. HISA préserve le motif de sparsité top-k exact au niveau token requis par l'opérateur Sparse MLA en aval et ne nécessite aucun entraînement supplémentaire. Sur des benchmarks au niveau noyau, HISA atteint une accélération de 2 fois pour un contexte de 32K tokens et de 4 fois pour 128K. Sur Needle-in-a-Haystack et LongBench, nous remplaçons directement l'indexeur de DeepSeek-V3.2 par HISA, sans aucun ajustement fin. HISA correspond étroitement à la qualité de la DSA originale tout en surpassant significativement les bases de référence à sparsité par blocs. De plus, les ensembles de sélection de tokens produits par HISA et la DSA originale présentent un IoU moyen supérieur à 99 %, indiquant que les gains d'efficacité s'accompagnent d'un impact quasi nul sur la fidélité de la sélection.
English
Token-level sparse attention mechanisms, exemplified by DeepSeek Sparse Attention (DSA), achieve fine-grained key selection by scoring every historical token for each query using a lightweight indexer, and then computing attention only over the selected subset. While the downstream sparse attention scales efficiently, the indexer still scans the entire prefix for every query, introducing an O(L^2) per-layer bottleneck that becomes prohibitive as context length grows. We propose HISA (Hierarchical Indexed Sparse Attention), a drop-in replacement for the indexer that transforms the search process from a flat token scan into a two-stage hierarchical procedure. First, a block-level coarse filter scores pooled block representatives to prune irrelevant regions. Then, a token-level refinement applies the original indexer only within the remaining candidate blocks. HISA preserves the exact token-level top-k sparsity pattern required by the downstream Sparse MLA operator and requires no additional training. On kernel-level benchmarks, HISA achieves a 2times speedup at 32K context length and 4times at 128K. On Needle-in-a-Haystack and LongBench, we directly replace the indexer in DeepSeek-V3.2 with HISA, without any fine-tuning. HISA closely matches the original DSA in quality while significantly outperforming block-sparse baselines. Moreover, the token selection sets produced by HISA and the original DSA exhibit a mean IoU greater than 99%, indicating that the efficiency gains come with virtually no impact on selection fidelity.