Prisma: Atenção Esparsa em Blocos com Consciência Espectral
Prism: Spectral-Aware Block-Sparse Attention
February 9, 2026
Autores: Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu
cs.AI
Resumo
A atenção esparsa por blocos é promissora para acelerar o pré-preenchimento de LLMs de contexto longo, mas a identificação eficiente de blocos relevantes permanece um gargalo. Os métodos existentes geralmente empregam atenção de granularidade grossa como proxy para estimar a importância dos blocos, mas frequentemente recorrem a buscas ou pontuações dispendiosas a nível de token, resultando em sobrecarga significativa de seleção. Neste trabalho, rastreamos a imprecisão da atenção padrão de granularidade grossa via *pooling* médio até uma causa teórica raiz: a interação entre o *pooling* médio e as *Embeddings* Posicionais Rotativas (RoPE). Provamos que o *pooling* médio atua como um filtro passa-baixo que induz interferência destrutiva nas dimensões de alta frequência, criando efetivamente um "ponto cego" para informações posicionais locais (por exemplo, padrões de *slash*). Para resolver isso, introduzimos o Prism, uma abordagem espectral e livre de treinamento que decompõe a seleção de blocos em ramos de alta e baixa frequência. Ao aplicar uma calibração de temperatura baseada em energia, o Prism restaura os sinais posicionais atenuados diretamente das representações agregadas, permitindo a estimativa da importância do bloco usando apenas operações a nível de bloco, melhorando assim a eficiência. Avaliações extensivas confirmam que o Prism mantém paridade de precisão com a atenção completa enquanto oferece aceleração de até 5,1 vezes.
English
Block-sparse attention is promising for accelerating long-context LLM pre-filling, yet identifying relevant blocks efficiently remains a bottleneck. Existing methods typically employ coarse-grained attention as a proxy for block importance estimation, but often resort to expensive token-level searching or scoring, resulting in significant selection overhead. In this work, we trace the inaccuracy of standard coarse-grained attention via mean pooling to a theoretical root cause: the interaction between mean pooling and Rotary Positional Embeddings (RoPE). We prove that mean pooling acts as a low-pass filter that induces destructive interference in high-frequency dimensions, effectively creating a "blind spot" for local positional information (e.g., slash patterns). To address this, we introduce Prism, a training-free spectral-aware approach that decomposes block selection into high-frequency and low-frequency branches. By applying energy-based temperature calibration, Prism restores the attenuated positional signals directly from pooled representations, enabling block importance estimation using purely block-level operations, thereby improving efficiency. Extensive evaluations confirm that Prism maintains accuracy parity with full attention while delivering up to 5.1times speedup.