FlashMemory-DeepSeek-V4: Índice Relâmpago para Contexto Ultra-Longo via Atenção Esparsa com Antecipação

Resumo

LLMs convencionais mantêm o cache KV completo carregado durante a decodificação, causando um grave gargalo de memória da GPU para o serviço de contexto ultra longo. Neste relatório, propomos a Lookahead Sparse Attention (LSA), um novo paradigma de inferência alimentado por um Indexador de Memória Neural construído sobre a arquitetura DeepSeek-V4. Em vez de atender passivamente a todos os tokens históricos, a LSA prevê proativamente as demandas futuras de contexto e preserva apenas os chunks KV críticos para a consulta na memória da GPU. Crucialmente, instanciamos essa arquitetura por meio de uma estratégia de treinamento desacoplada sem backbone. Ao formular o indexador como uma arquitetura padrão de codificador duplo, o treinamos de forma independente usando frameworks padrão de treinamento de recuperação, sem nunca carregar o modelo backbone massivo na memória da GPU. Demonstramos que esse paradigma "menos é mais" maximiza significativamente a eficiência do serviço, ao mesmo tempo que atua como um desruído de atenção eficaz em tarefas que dependem de memória global de longo prazo. Em todos os principais conjuntos de avaliação de contexto longo (por exemplo, LongBench-v2, LongMemEval e RULER), o FM-DS-V4 comprime a pegada média do cache KV físico para apenas 13,5% da linha de base de contexto completo, enquanto preserva consistentemente ou eleva ligeiramente a precisão downstream (margem absoluta média de +0,6%). Crucialmente, em escalas extremas de 500K, o FlashMemory suprime a sobrecarga do cache KV físico em mais de 90% sem desestabilizar as capacidades centrais de raciocínio do backbone.

English

Conventional LLMs keep the full KV cache loaded during decoding, causing a severe GPU memory bottleneck for ultra-long context serving. In this report, we propose Lookahead Sparse Attention (LSA), a novel inference paradigm powered by a Neural Memory Indexer built upon the DeepSeek-V4 architecture. Rather than passively attending to all historical tokens, LSA proactively predicts future context demands and preserves only the query-critical KV chunks in the GPU memory. Crucially, we instantiate this architecture via a backbone-free decoupled training strategy. By formulating the indexer as a standard dual-encoder architecture, we train it independently using standard retrieval training frameworks without ever loading the massive backbone model into GPU memory. We demonstrate that this "less is more" paradigm significantly maximizes serving efficiency while acting as an effective attention denoiser in tasks that rely on long-term global memory. Across primary long-context evaluation suites (e.g., LongBench-v2, LongMemEval, and RULER), FM-DS-V4 compresses the average physical KV cache footprint down to merely 13.5% of the full-context baseline, while consistently preserving or slightly elevating downstream accuracy (+0.6% absolute margin on average). Crucially, at extreme 500K scales, FlashMemory suppresses the physical KV cache overhead by over 90% without destabilizing the backbone's core reasoning capacities.