FlashMemory-DeepSeek-V4: 先読みスパースアテンションによるライトニングインデックス超長コンテキスト

要旨

従来のLLMはデコード中に完全なKVキャッシュを保持しておくため、超長文コンテキストのサービス提供において深刻なGPUメモリのボトルネックを引き起こします。本レポートでは、DeepSeek-V4アーキテクチャに基づいたニューラルメモリインデクサーによって実現される新しい推論パラダイムである先読みスパースアテンション（LSA）を提案します。LSAは、過去のすべてのトークンを受動的にアテンションするのではなく、将来のコンテキスト需要を積極的に予測し、クエリに重要なKVチャンクのみをGPUメモリに保持します。重要な点として、私たちはこのアーキテクチャをバックボーンフリーの分離学習戦略によって具体化します。インデクサーを標準的なデュアルエンコーダアーキテクチャとして定式化することで、大規模なバックボーンモデルをGPUメモリにロードすることなく、標準的な検索学習フレームワークを使用して独立に学習します。この「Less is More」パラダイムは、長期グローバルメモリに依存するタスクにおいて効果的なアテンションデノイザーとして機能しながら、サービング効率を大幅に最大化することを実証します。主要な長文コンテキスト評価スイート（例：LongBench-v2、LongMemEval、RULER）において、FM-DS-V4は平均物理KVキャッシュフットプリントをフルコンテキストベースラインのわずか13.5%に圧縮し、下流タスクの精度を一貫して維持またはわずかに向上させます（平均絶対マージン+0.6%）。極めて重要な点として、500Kという極端なスケールにおいて、FlashMemoryは物理KVキャッシュのオーバーヘッドを90%以上抑制し、バックボーンのコア推論能力を不安定にすることはありません。

English

Conventional LLMs keep the full KV cache loaded during decoding, causing a severe GPU memory bottleneck for ultra-long context serving. In this report, we propose Lookahead Sparse Attention (LSA), a novel inference paradigm powered by a Neural Memory Indexer built upon the DeepSeek-V4 architecture. Rather than passively attending to all historical tokens, LSA proactively predicts future context demands and preserves only the query-critical KV chunks in the GPU memory. Crucially, we instantiate this architecture via a backbone-free decoupled training strategy. By formulating the indexer as a standard dual-encoder architecture, we train it independently using standard retrieval training frameworks without ever loading the massive backbone model into GPU memory. We demonstrate that this "less is more" paradigm significantly maximizes serving efficiency while acting as an effective attention denoiser in tasks that rely on long-term global memory. Across primary long-context evaluation suites (e.g., LongBench-v2, LongMemEval, and RULER), FM-DS-V4 compresses the average physical KV cache footprint down to merely 13.5% of the full-context baseline, while consistently preserving or slightly elevating downstream accuracy (+0.6% absolute margin on average). Crucially, at extreme 500K scales, FlashMemory suppresses the physical KV cache overhead by over 90% without destabilizing the backbone's core reasoning capacities.