SpeContext: Efficiënte redenering met lange contexten mogelijk maken door middel van gespeculeerde contextsparsiteit in LLM's

SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs

November 30, 2025

Auteurs: Jiaming Xu, Jiayi Pan, Hanzhen Wang, Yongkang Zhou, Jiancai Ye, Yu Wang, Guohao Dai

cs.AI

Samenvatting

In dit artikel wijzen we erop dat het doel van de retrieval-algoritmen is af te stemmen op het LLM, wat vergelijkbaar is met het doel van kennisdistillatie in LLM's. We analyseren de gelijkenis in informatie-focus tussen het gedistilleerde taalmodel (DLM) en het oorspronkelijke LLM vanuit een information-theoretisch perspectief, en stellen daarom een nieuw paradigma voor dat een DLM als retrieval-algoritme benut. Gebaseerd op dit inzicht presenteren we SpeContext, een co-design van algoritme en systeem voor redeneren met lange context. (1) Op algoritmeniveau stelt SpeContext een lichtgewicht retrieval-head voor op basis van de head-level aandachtgewichten van het DLM, waarbij een parametersreductie van >90% wordt bereikt door redundantie weg te snoeien. (2) Op systeemniveau ontwerpt SpeContext een asynchrone prefetch-dataflow via een elastische laadstrategie, waardoor KV-cache-retrieval effectief overlapt met de LLM-berekening. (3) Op compilatieniveau construeert SpeContext het theoretische geheugenmodel en implementeert een adaptief geheugenbeheersysteem om versnelling te bereiken door GPU-geheugenutilisatie te maximaliseren. We implementeren en evalueren SpeContext in twee resourcebeperkte omgevingen: cloud en edge. Uitgebreide experimenten tonen aan dat SpeContext, vergeleken met het Huggingface-framework, een doorvoerverbetering tot 24,89x in de cloud en een versnelling van 10,06x aan de edge bereikt met verwaarloosbaar accuratesseverlies, waardoor de Pareto-grens van accuratesse en doorvoer wordt verlegd.

English

In this paper, we point out that the objective of the retrieval algorithms is to align with the LLM, which is similar to the objective of knowledge distillation in LLMs. We analyze the similarity in information focus between the distilled language model(DLM) and the original LLM from the perspective of information theory, and thus propose a novel paradigm that leverages a DLM as the retrieval algorithm. Based on the insight, we present SpeContext, an algorithm and system co-design for long-context reasoning. (1) At the algorithm level, SpeContext proposes lightweight retrieval head based on the head-level attention weights of DLM, achieving > 90% parameters reduction by pruning the redundancy. (2) At the system level, SpeContext designs an asynchronous prefetch dataflow via the elastic loading strategy, effectively overlapping KV cache retrieval with the LLM computation. (3) At the compilation level, SpeContext constructs the theoretical memory model and implements an adaptive memory management system to achieve acceleration by maximizing GPU memory utilization. We deploy and evaluate SpeContext in two resourceconstrained environments, cloud and edge. Extensive experiments show that, compared with the Huggingface framework, SpeContext achieves up to 24.89x throughput improvement in cloud and 10.06x speedup in edge with negligible accuracy loss, pushing the Pareto frontier of accuracy and throughput.