Volledige Aandacht Slaat Terug: Het Omzetten van Volledige Aandacht naar Sparse Binnen Honderd Trainingsstappen

Samenvatting

Inferentie over lange contexten in grote taalmodellen wordt beperkt door de kwadratische kosten van volledige aandacht. Bestaande efficiënte alternatieven vertrouwen vaak op native spaars trainen of op heuristische tokenverwijdering, wat een ongewenste afweging oplevert tussen efficiëntie, trainingskosten en nauwkeurigheid. In dit werk tonen we aan dat volledige-aandacht-LLM's al intrinsiek spaars zijn en met slechts minimale aanpassing kunnen worden omgezet in zeer spaarse modellen. Onze aanpak is gebaseerd op drie observaties: (1) slechts een kleine subset van aandachtskoppen heeft daadwerkelijk volledige verwerking van lange contexten nodig; (2) retrieval over lange afstanden wordt voornamelijk beheerst door een laagdimensionale deelruimte, waardoor relevante tokens efficiënt kunnen worden opgehaald met een 16-dimensionale indexeerder; en (3) het bruikbare tokenbudget is sterk query-afhankelijk, waardoor dynamische top-p-selectie beter geschikt is dan vaste top-k-sparstificatie. Op basis van deze inzichten stellen we RTPurbo voor, dat de volledige KV-cache alleen voor ophaalkoppen behoudt en een lichtgewicht tokenindexeerder introduceert voor spaarse aandacht. Door gebruik te maken van de intrinsieke spaarheid van het model, bereikt RTPurbo sparstificatie met slechts enkele honderden trainingsstappen. Experimenten op benchmarks voor lange contexten en redeneertaken tonen aan dat RTPurbo een vrijwel verliesloze nauwkeurigheid behoudt terwijl het aanzienlijke efficiëntiewinsten oplevert, waaronder een prefill-versnelling tot 9,36 keer bij 1M context en een decoderingsversnelling van ongeveer 2,01 keer. Deze resultaten suggereren dat sterke spaarse inferentie kan worden verkregen uit standaard volledige-aandachtstraining zonder dure native spaarse pre-training.

English

Long-context inference in large language models is bottlenecked by the quadratic cost of full attention. Existing efficient alternatives often rely either on native sparse training or on heuristic token eviction, creating an undesirable trade-off among efficiency, training cost, and accuracy. In this work, we show that full-attention LLMs are already intrinsically sparse and can be transformed into highly sparse models with only minimal adaptation. Our approach is built on three observations: (1) only a small subset of attention heads truly requires full long-context processing; (2) long-range retrieval is governed primarily by a low-dimensional subspace, allowing relevant tokens to be retrieved efficiently with a 16-dimensional indexer; and (3) the useful token budget is strongly query-dependent, making dynamic top-p selection more suitable than fixed top-k sparsification. Based on these insights, we propose RTPurbo, which retains the full KV cache only for retrieval heads and introduces a lightweight token indexer for sparse attention. By exploiting the model's intrinsic sparsity, RTPurbo achieves sparsification with only a few hundred training steps. Experiments on long-context benchmarks and reasoning tasks show that RTPurbo preserves near-lossless accuracy while delivering substantial efficiency gains, including up to a 9.36times prefill speedup at 1M context and about a 2.01times decode speedup. These results suggest that strong sparse inference can be obtained from standard full-attention training without expensive native sparse pretraining.