HISA: Indicizzazione Gerarchica Efficiente per l'Attenzione Sparsa a Grana Fine
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
March 30, 2026
Autori: Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Jiexi Wu, Zhixin Pan, Zhaohui Wang, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di yin, Xing Sun, Muhan Zhang
cs.AI
Abstract
I meccanismi di attenzione sparsa a livello di token, esemplificati da DeepSeek Sparse Attention (DSA), raggiungono una selezione fine delle chiavi assegnando un punteggio a ogni token storico per ogni query mediante un indicizzatore leggero, per poi calcolare l'attenzione solo sul sottoinsieme selezionato. Sebbene l'attenzione sparsa a valle sia computazionalmente efficiente, l'indicizzatore deve comunque scansionare l'intero prefisso per ogni query, introducendo un collo di bottiglia di O(L²) per strato che diventa proibitivo all'aumentare della lunghezza del contesto. Proponiamo HISA (Hierarchical Indexed Sparse Attention), una sostituzione diretta per l'indicizzatore che trasforma il processo di ricerca da una scansione piatta dei token in una procedura gerarchica a due stadi. In primo luogo, un filtro grossolano a livello di blocco assegna punteggi a rappresentativi aggregati dei blocchi per eliminare regioni irrilevanti. Successivamente, un raffinamento a livello di token applica l'indicizzatore originale solo all'interno dei blocchi candidati rimanenti. HISA preserva l'esatto schema di sparsità top-k a livello di token richiesto dall'operatore Sparse MLA a valle e non richiede ulteriore addestramento. Su benchmark a livello di kernel, HISA raggiunge un miglioramento di 2 volte nella velocità a contesti di 32K token e di 4 volte a 128K. Su Needle-in-a-Haystack e LongBench, abbiamo sostituito direttamente l'indicizzatore in DeepSeek-V3.2 con HISA, senza alcuna messa a punto. HISA eguaglia strettamente la qualità dell'originale DSA, superando significativamente i baseline a sparsità di blocco. Inoltre, gli insiemi di selezione dei token prodotti da HISA e dal DSA originale mostrano un IoU medio superiore al 99%, indicando che i guadagni di efficienza si ottengono con un impatto praticamente nullo sulla fedeltà della selezione.
English
Token-level sparse attention mechanisms, exemplified by DeepSeek Sparse Attention (DSA), achieve fine-grained key selection by scoring every historical token for each query using a lightweight indexer, and then computing attention only over the selected subset. While the downstream sparse attention scales efficiently, the indexer still scans the entire prefix for every query, introducing an O(L^2) per-layer bottleneck that becomes prohibitive as context length grows. We propose HISA (Hierarchical Indexed Sparse Attention), a drop-in replacement for the indexer that transforms the search process from a flat token scan into a two-stage hierarchical procedure. First, a block-level coarse filter scores pooled block representatives to prune irrelevant regions. Then, a token-level refinement applies the original indexer only within the remaining candidate blocks. HISA preserves the exact token-level top-k sparsity pattern required by the downstream Sparse MLA operator and requires no additional training. On kernel-level benchmarks, HISA achieves a 2times speedup at 32K context length and 4times at 128K. On Needle-in-a-Haystack and LongBench, we directly replace the indexer in DeepSeek-V3.2 with HISA, without any fine-tuning. HISA closely matches the original DSA in quality while significantly outperforming block-sparse baselines. Moreover, the token selection sets produced by HISA and the original DSA exhibit a mean IoU greater than 99%, indicating that the efficiency gains come with virtually no impact on selection fidelity.