FlashMemory-DeepSeek-V4 : Index Lightning pour Contexte Ultra-Long via Lookahead Sparse Attention

Résumé

Les LLM conventionnels conservent l'intégralité du cache KV chargé en mémoire pendant le décodage, ce qui entraîne un goulot d'étranglement sévère de la mémoire GPU pour les contextes ultra-longs. Dans ce rapport, nous proposons l'Attention Éparse Anticipatrice (LSA), un nouveau paradigme d'inférence alimenté par un Indexeur de Mémoire Neuronal construit sur l'architecture DeepSeek-V4. Plutôt que de prêter passivement attention à tous les jetons historiques, LSA prédit de manière proactive les besoins futurs du contexte et ne conserve dans la mémoire GPU que les morceaux KV critiques pour la requête. Essentiellement, nous instancions cette architecture via une stratégie d'entraînement découplé sans backbone. En formulant l'indexeur comme une architecture standard à double encodeur, nous l'entraînons indépendamment en utilisant des cadres d'entraînement standard de recherche, sans jamais charger le modèle backbone massif dans la mémoire GPU. Nous démontrons que ce paradigme « moins c'est plus » maximise considérablement l'efficacité du service tout en agissant comme un débruitage attentionnel efficace dans les tâches reposant sur une mémoire globale à long terme. Sur les principales suites d'évaluation de contexte long (par exemple, LongBench-v2, LongMemEval et RULER), FM-DS-V4 comprime l'empreinte moyenne du cache KV physique à seulement 13,5 % de la ligne de base du contexte complet, tout en préservant ou en augmentant légèrement la précision en aval (marge absolue de +0,6 % en moyenne). Essentiellement, aux échelles extrêmes de 500K, FlashMemory réduit la surcharge du cache KV physique de plus de 90 % sans déstabiliser les capacités de raisonnement centrales du backbone.

English

Conventional LLMs keep the full KV cache loaded during decoding, causing a severe GPU memory bottleneck for ultra-long context serving. In this report, we propose Lookahead Sparse Attention (LSA), a novel inference paradigm powered by a Neural Memory Indexer built upon the DeepSeek-V4 architecture. Rather than passively attending to all historical tokens, LSA proactively predicts future context demands and preserves only the query-critical KV chunks in the GPU memory. Crucially, we instantiate this architecture via a backbone-free decoupled training strategy. By formulating the indexer as a standard dual-encoder architecture, we train it independently using standard retrieval training frameworks without ever loading the massive backbone model into GPU memory. We demonstrate that this "less is more" paradigm significantly maximizes serving efficiency while acting as an effective attention denoiser in tasks that rely on long-term global memory. Across primary long-context evaluation suites (e.g., LongBench-v2, LongMemEval, and RULER), FM-DS-V4 compresses the average physical KV cache footprint down to merely 13.5% of the full-context baseline, while consistently preserving or slightly elevating downstream accuracy (+0.6% absolute margin on average). Crucially, at extreme 500K scales, FlashMemory suppresses the physical KV cache overhead by over 90% without destabilizing the backbone's core reasoning capacities.