MSA: Memory Sparse Attention — разреженное внимание с памятью для эффективного масштабирования сквозных моделей с памятью до 100 миллионов токенов

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

March 6, 2026

Авторы: Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun Han, Lidong Bing, Yafeng Deng, Tianqiao Chen

cs.AI

Аннотация

Долговременная память является краеугольным камнем человеческого интеллекта. Наделение ИИ способностью обрабатывать информацию в масштабе всей жизни остается давней целью в данной области. Из-за ограничений архитектур с полным вниманием эффективная длина контекста больших языковых моделей (LLM) обычно ограничена 1 миллионом токенов. Существующие подходы, такие как гибридное линейное внимание, состояния памяти фиксированного размера (например, RNN) и методы внешнего хранения, подобные RAG или агентным системам, пытаются расширить этот предел. Однако они часто страдают от значительной потери точности и быстро растущей задержки с увеличением длины контекста, неспособности динамически изменять содержимое памяти или отсутствия сквозной оптимизации. Эти узкие места препятствуют реализации сложных сценариев, таких как суммаризация больших корпусов, цифровые двойники и рассуждения агентов с длительной историей, одновременно ограничивая емкость памяти и замедляя вывод. Мы представляем Memory Sparse Attention (MSA) — сквозную, эффективную и массово масштабируемую framework модель памяти. Благодаря ключевым инновациям, включая масштабируемое разреженное внимание и документно-ориентированный RoPE, MSA достигает линейной сложности как при обучении, так и при выводе, сохраняя при этом исключительную стабильность, демонстрируя деградацию менее 9% при масштабировании с 16 тыс. до 100 млн токенов. Кроме того, сжатие KV-кэша в сочетании с Memory Parallel позволяет осуществлять вывод на 100 млн токенов с использованием 2xGPU A800. Мы также предлагаем Memory Interleaving для облегчения сложных многошаговых рассуждений по разрозненным сегментам памяти. MSA значительно превосходит передовые LLM, современные RAG-системы и ведущие модели памяти в бенчмарках длинного контекста. Эти результаты демонстрируют, что за счет разделения емкости памяти и рассуждений MSA обеспечивает масштабируемую основу для наделения моделей общего назначения внутренней памятью в масштабе всей жизни.

English

Long-term memory is a cornerstone of human intelligence. Enabling AI to process lifetime-scale information remains a long-standing pursuit in the field. Due to the constraints of full-attention architectures, the effective context length of large language models (LLMs) is typically limited to 1M tokens. Existing approaches, such as hybrid linear attention, fixed-size memory states (e.g., RNNs), and external storage methods like RAG or agent systems, attempt to extend this limit. However, they often suffer from severe precision degradation and rapidly increasing latency as context length grows, an inability to dynamically modify memory content, or a lack of end-to-end optimization. These bottlenecks impede complex scenarios like large-corpus summarization, Digital Twins, and long-history agent reasoning, while limiting memory capacity and slowing inference. We present Memory Sparse Attention (MSA), an end-to-end trainable, efficient, and massively scalable memory model framework. Through core innovations including scalable sparse attention and document-wise RoPE, MSA achieves linear complexity in both training and inference while maintaining exceptional stability, exhibiting less than 9% degradation when scaling from 16K to 100M tokens. Furthermore, KV cache compression, combined with Memory Parallel, enables 100M-token inference on 2xA800 GPUs. We also propose Memory Interleaving to facilitate complex multi-hop reasoning across scattered memory segments. MSA significantly surpasses frontier LLMs, state-of-the-art RAG systems, and leading memory agents in long-context benchmarks. These results demonstrate that by decoupling memory capacity from reasoning, MSA provides a scalable foundation to endow general-purpose models with intrinsic, lifetime-scale memory.