SpeContext : Activation du raisonnement en contexte long efficace grâce à la parcimonie contextuelle spéculative dans les LLM

SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs

November 30, 2025

papers.authors: Jiaming Xu, Jiayi Pan, Hanzhen Wang, Yongkang Zhou, Jiancai Ye, Yu Wang, Guohao Dai

cs.AI

papers.abstract

Dans cet article, nous soulignons que l'objectif des algorithmes de recherche est de s'aligner sur le LLM, ce qui est similaire à l'objectif de la distillation des connaissances dans les LLM. Nous analysons la similarité dans la focalisation de l'information entre le modèle de langage distillé (DLM) et le LLM original sous l'angle de la théorie de l'information, et proposons ainsi un nouveau paradigme qui exploite un DLM comme algorithme de recherche. Sur la base de cette idée, nous présentons SpeContext, une conception conjointe algorithme-système pour le raisonnement en contexte long. (1) Au niveau algorithmique, SpeContext propose une tête de récupération légère basée sur les poids d'attention au niveau des têtes du DLM, réalisant une réduction de > 90 % des paramètres par élagage de la redondance. (2) Au niveau système, SpeContext conçoit un flux de données à préchargement asynchrone via une stratégie de chargement élastique, chevauchant efficacement la récupération du cache KV avec le calcul du LLM. (3) Au niveau de la compilation, SpeContext construit un modèle mémoire théorique et implémente un système de gestion de mémoire adaptatif pour réaliser une accélération en maximisant l'utilisation de la mémoire GPU. Nous déployons et évaluons SpeContext dans deux environnements à ressources limitées, cloud et edge. Des expériences approfondies montrent que, par rapport au framework Huggingface, SpeContext atteint une amélioration du débit allant jusqu'à 24.89x dans le cloud et une accélération de 10.06x en edge avec une perte de précision négligeable, repoussant ainsi la frontière de Pareto entre la précision et le débit.

English

In this paper, we point out that the objective of the retrieval algorithms is to align with the LLM, which is similar to the objective of knowledge distillation in LLMs. We analyze the similarity in information focus between the distilled language model(DLM) and the original LLM from the perspective of information theory, and thus propose a novel paradigm that leverages a DLM as the retrieval algorithm. Based on the insight, we present SpeContext, an algorithm and system co-design for long-context reasoning. (1) At the algorithm level, SpeContext proposes lightweight retrieval head based on the head-level attention weights of DLM, achieving > 90% parameters reduction by pruning the redundancy. (2) At the system level, SpeContext designs an asynchronous prefetch dataflow via the elastic loading strategy, effectively overlapping KV cache retrieval with the LLM computation. (3) At the compilation level, SpeContext constructs the theoretical memory model and implements an adaptive memory management system to achieve acceleration by maximizing GPU memory utilization. We deploy and evaluate SpeContext in two resourceconstrained environments, cloud and edge. Extensive experiments show that, compared with the Huggingface framework, SpeContext achieves up to 24.89x throughput improvement in cloud and 10.06x speedup in edge with negligible accuracy loss, pushing the Pareto frontier of accuracy and throughput.