HISA: Эффективная иерархическая индексация для разреженного внимания с мелкой детализацией
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
March 30, 2026
Авторы: Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Jiexi Wu, Zhixin Pan, Zhaohui Wang, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di yin, Xing Sun, Muhan Zhang
cs.AI
Аннотация
Токен-разреженные механизмы внимания, примером которых является DeepSeek Sparse Attention (DSA), достигают детализированного выбора ключевых элементов путем оценки каждого исторического токена для каждого запроса с использованием легковесного индексатора, с последующим вычислением внимания только для выбранного подмножества. Хотя последующее разреженное внимание эффективно масштабируется, индексатор по-прежнему сканирует весь префикс для каждого запроса, создавая ограничение O(L²) на слой, которое становится критичным с ростом длины контекста. Мы предлагаем HISA (Hierarchical Indexed Sparse Attention) — прямую замену индексатору, которая преобразует процесс поиска из плоского сканирования токенов в двухуровневую иерархическую процедуру. Сначала блочный грубый фильтр оценивает агрегированных представителей блоков для отсечения нерелевантных областей. Затем токен-уровневое уточнение применяет исходный индексатор только внутри оставшихся кандидатных блоков. HISA сохраняет точную токен-уровневую топ-k схему разреженности, требуемую последующим разреженным оператором MLA, и не требует дополнительного обучения. На бенчмарках ядра HISA демонстрирует ускорение в 2 раза при длине контекста 32K и в 4 раза при 128K. На тестах Needle-in-a-Haystack и LongBench мы напрямую заменили индексатор в DeepSeek-V3.2 на HISA без какой-либо дообучения. HISA близко соответствует исходному DSA по качеству, значительно превосходя блочно-разреженные базовые методы. Более того, наборы выбранных токенов, производимые HISA и исходным DSA, демонстрируют средний IoU более 99%, что указывает на практически нулевое влияние на точность выбора при достижении выигрыша в эффективности.
English
Token-level sparse attention mechanisms, exemplified by DeepSeek Sparse Attention (DSA), achieve fine-grained key selection by scoring every historical token for each query using a lightweight indexer, and then computing attention only over the selected subset. While the downstream sparse attention scales efficiently, the indexer still scans the entire prefix for every query, introducing an O(L^2) per-layer bottleneck that becomes prohibitive as context length grows. We propose HISA (Hierarchical Indexed Sparse Attention), a drop-in replacement for the indexer that transforms the search process from a flat token scan into a two-stage hierarchical procedure. First, a block-level coarse filter scores pooled block representatives to prune irrelevant regions. Then, a token-level refinement applies the original indexer only within the remaining candidate blocks. HISA preserves the exact token-level top-k sparsity pattern required by the downstream Sparse MLA operator and requires no additional training. On kernel-level benchmarks, HISA achieves a 2times speedup at 32K context length and 4times at 128K. On Needle-in-a-Haystack and LongBench, we directly replace the indexer in DeepSeek-V3.2 with HISA, without any fine-tuning. HISA closely matches the original DSA in quality while significantly outperforming block-sparse baselines. Moreover, the token selection sets produced by HISA and the original DSA exhibit a mean IoU greater than 99%, indicating that the efficiency gains come with virtually no impact on selection fidelity.