FlashMemory-DeepSeek-V4: Lightning Index para Contexto Ultra-Largo mediante Atención Dispersa Lookahead

Resumen

Los LLM convencionales mantienen toda la caché KV cargada durante la decodificación, lo que provoca un grave cuello de botella en la memoria de GPU para el servicio de contextos ultralargos. En este informe, proponemos la Atención Dispersa Predictiva (LSA, por sus siglas en inglés), un nuevo paradigma de inferencia impulsado por un Indexador de Memoria Neural construido sobre la arquitectura DeepSeek-V4. En lugar de atender pasivamente a todos los tokens históricos, LSA predice proactivamente las demandas futuras de contexto y conserva únicamente los fragmentos KV críticos para la consulta en la memoria de GPU. De manera crucial, materializamos esta arquitectura mediante una estrategia de entrenamiento desacoplado sin modelo base. Al formular el indexador como una arquitectura estándar de codificador dual, lo entrenamos de forma independiente utilizando marcos de entrenamiento de recuperación estándar, sin cargar nunca el modelo base masivo en la memoria de GPU. Demostramos que este paradigma de "menos es más" maximiza significativamente la eficiencia del servicio, a la vez que actúa como un eficaz denoizador de atención en tareas que dependen de la memoria global a largo plazo. En los principales conjuntos de evaluación de contexto largo (por ejemplo, LongBench-v2, LongMemEval y RULER), FM-DS-V4 comprime el tamaño medio de la caché KV física hasta apenas un 13.5 % de la línea base de contexto completo, mientras que mantiene o incluso mejora ligeramente la precisión en tareas posteriores (+0.6 % de margen absoluto en promedio). De manera crucial, en escalas extremas de 500K, FlashMemory reduce la sobrecarga de la caché KV física en más del 90 % sin desestabilizar las capacidades centrales de razonamiento del modelo base.

English

Conventional LLMs keep the full KV cache loaded during decoding, causing a severe GPU memory bottleneck for ultra-long context serving. In this report, we propose Lookahead Sparse Attention (LSA), a novel inference paradigm powered by a Neural Memory Indexer built upon the DeepSeek-V4 architecture. Rather than passively attending to all historical tokens, LSA proactively predicts future context demands and preserves only the query-critical KV chunks in the GPU memory. Crucially, we instantiate this architecture via a backbone-free decoupled training strategy. By formulating the indexer as a standard dual-encoder architecture, we train it independently using standard retrieval training frameworks without ever loading the massive backbone model into GPU memory. We demonstrate that this "less is more" paradigm significantly maximizes serving efficiency while acting as an effective attention denoiser in tasks that rely on long-term global memory. Across primary long-context evaluation suites (e.g., LongBench-v2, LongMemEval, and RULER), FM-DS-V4 compresses the average physical KV cache footprint down to merely 13.5% of the full-context baseline, while consistently preserving or slightly elevating downstream accuracy (+0.6% absolute margin on average). Crucially, at extreme 500K scales, FlashMemory suppresses the physical KV cache overhead by over 90% without destabilizing the backbone's core reasoning capacities.