FlashMemory-DeepSeek-V4: Молниеносный индекс сверхдлинного контекста посредством разреженного внимания с упреждающим просмотром

Аннотация

Традиционные LLM загружают полный KV-кэш в память во время декодирования, что приводит к серьезному узкому месту в памяти GPU при обслуживании сверхдлинных контекстов. В этом отчете мы предлагаем Lookahead Sparse Attention (LSA) — новую парадигму вывода, работающую на основе Neural Memory Indexer, построенного на архитектуре DeepSeek-V4. Вместо пассивного внимания ко всем историческим токенам LSA упреждающе предсказывает будущие потребности контекста и сохраняет в памяти GPU только критически важные для запроса KV-чанки. Ключевой особенностью является то, что мы реализуем эту архитектуру с помощью стратегии раздельного обучения, не зависящей от бэкбона (backbone-free decoupled training strategy). Формулируя индексатор как стандартную двух-энкодерную архитектуру, мы обучаем его независимо с использованием стандартных фреймворков для обучения поиску, никогда не загружая массивную базовую модель в память GPU. Мы демонстрируем, что эта парадигма «меньше значит больше» значительно повышает эффективность обслуживания, одновременно действуя как эффективный денойзер внимания в задачах, полагающихся на долговременную глобальную память. В основных наборах тестов для длинных контекстов (например, LongBench-v2, LongMemEval и RULER) FM-DS-V4 сжимает средний физический объем KV-кэша до всего 13,5% от базового уровня с полным контекстом, при этом постоянно сохраняя или незначительно повышая точность на downstream-задачах (средний абсолютный прирост +0,6%). Важно отметить, что при экстремальных масштабах в 500K токенов FlashMemory сокращает накладные расходы физического KV-кэша более чем на 90%, не нарушая стабильности базовых способностей бэкбона к рассуждению.

English

Conventional LLMs keep the full KV cache loaded during decoding, causing a severe GPU memory bottleneck for ultra-long context serving. In this report, we propose Lookahead Sparse Attention (LSA), a novel inference paradigm powered by a Neural Memory Indexer built upon the DeepSeek-V4 architecture. Rather than passively attending to all historical tokens, LSA proactively predicts future context demands and preserves only the query-critical KV chunks in the GPU memory. Crucially, we instantiate this architecture via a backbone-free decoupled training strategy. By formulating the indexer as a standard dual-encoder architecture, we train it independently using standard retrieval training frameworks without ever loading the massive backbone model into GPU memory. We demonstrate that this "less is more" paradigm significantly maximizes serving efficiency while acting as an effective attention denoiser in tasks that rely on long-term global memory. Across primary long-context evaluation suites (e.g., LongBench-v2, LongMemEval, and RULER), FM-DS-V4 compresses the average physical KV cache footprint down to merely 13.5% of the full-context baseline, while consistently preserving or slightly elevating downstream accuracy (+0.6% absolute margin on average). Crucially, at extreme 500K scales, FlashMemory suppresses the physical KV cache overhead by over 90% without destabilizing the backbone's core reasoning capacities.