Attention éparse simplifiée via des jetons de synthèse

Résumé

L'attention creuse peut réduire le coût de l'inférence sur de longs contextes, mais la plupart des variantes introduisent de nouveaux composants architecturaux. Nous présentons l'Attention Creuse Simplifiée (SSA, pour Simplified Sparse Attention), une approche plus simple de l'attention creuse qui ne nécessite aucune modification architecturale. Concrètement, nous effectuons d'abord un pré-entraînement continu sur des séquences entremêlées de jetons de synthèse (gist tokens). Nous optimisons la perte standard de prédiction du prochain jeton comme d'habitude, mais les jetons de synthèse utilisent un masque d'attention pour restreindre les parties du contexte auxquelles le modèle de langue peut prêter attention ; cela apprend au modèle à compacter les informations importantes de chaque bloc dans les jetons de synthèse. Au moment de l'inférence, SSA évalue les blocs via l'attention entre la requête courante et le petit ensemble de jetons de synthèse, en déroulant sélectivement les k premiers blocs (top-k) par la réintroduction de leurs jetons bruts correspondants. Étant donné que la requête n'est évaluée que par rapport aux jetons de synthèse, nous évitons le coût de bande passante mémoire associé à une évaluation naïve par rapport au cache KV complet, sans nécessiter l'approche de cache KV auxiliaire utilisée par les méthodes d'attention creuse. Sur LongBench, SSA surpasse systématiquement les méthodes de compression et les méthodes d'attention creuse à l'inférence sous le même taux de compression. De manière plus frappante, dans la génération augmentée par récupération, SSA peut même surpasser l'attention complète après un pré-entraînement continu de plus de 5,7 points. Nous attribuons cela à la capacité de déroulement sélectif de SSA, qui concentre l'attention sur les blocs pertinents pour la requête et filtre efficacement le bruit. SSA s'étend en outre à une variante hiérarchique de synthèse de synthèse (H-SSA) qui atteint une complexité de décodage log-linéaire tout en maintenant ou en améliorant la précision à des taux de compression élevés allant jusqu'à 32x. Le code est disponible à l'adresse https://github.com/yuzhenmao/simplified-sparse-attention/.

English

Sparse attention can reduce the cost of long-context inference, but most variants introduce new architectural components. We introduce Simplified Sparse Attention (SSA), a simpler approach to sparse attention that requires no architectural changes. Concretely, we first perform continued pretraining on sequences interleaved with gist tokens. We optimize the standard next-token loss as usual, but the gist tokens use an attention mask to restrict what parts of the context the language model can attend to; this teaches the model to pack each chunk's important information into the gist tokens. At inference time, SSA scores chunks via attention between the current query and the small set of gist tokens, selectively unfolding the top-k chunks by reintroducing their corresponding raw tokens. Since the query is scored only against the gist tokens, we avoid the memory-bandwidth cost associated with naive scoring against the full KV cache, without requiring the auxiliary KV cache approach used by sparse attention methods. On LongBench, SSA consistently outperforms compression and inference-time sparse-attention baselines under the same compression ratio. More strikingly, in retrieval-augmented generation, SSA can even outperform full attention after continued pretraining by over 5.7 points. We attribute this to the ability of SSA's selective unfolding, which concentrates attention on the query-relevant chunks and effectively filters out noise. SSA further extends to a hierarchical gist-of-gist variant (H-SSA) that achieves log-linear decoding complexity while maintaining or improving accuracy at high compression ratios up to 32x. The code is available at https://github.com/yuzhenmao/simplified-sparse-attention/.