MSA: Memory Sparse Attention voor efficiënte end-to-end schaalvergroting van geheugenmodellen tot 100 miljoen tokens

Samenvatting

Langetermijngeheugen is een hoeksteen van de menselijke intelligentie. Het mogelijk maken dat AI levenslangschaal-informatie kan verwerken blijft een lang gekoesterd streven in het vakgebied. Door de beperkingen van volledige-attentie-architecturen is de effectieve contextlengte van grote taalmodel(len) (LLM's) typisch beperkt tot 1M tokens. Bestaande benaderingen, zoals hybride lineaire aandacht, vaste-geheugenstatussen (bijv. RNN's), en externe opslagmethoden zoals RAG of agentsystemen, proberen deze limiet te verleggen. Zij lijden echter vaak aan ernstige precisievermindering en snel toenemende latentie naarmate de contextlengte groeit, een onvermogen om geheugeninhoud dynamisch aan te passen, of een gebrek aan end-to-end-optimalisatie. Deze knelpunten belemmeren complexe scenario's zoals samenvatting van grote corpora, Digital Twins en agentredenering met een lange geschiedenis, terwijl ze de geheugencapaciteit beperken en de inferentie vertragen. Wij presenteren Memory Sparse Attention (MSA), een end-to-end trainbaar, efficiënt en massaal schaalbaar geheugenmodelraamwerk. Door kerninnovaties, waaronder schaalbare sparse attention en documentgewijze RoPE, bereikt MSA lineaire complexiteit in zowel training als inferentie, terwijl het uitzonderlijke stabiliteit behoudt, met minder dan 9% degradatie bij het opschalen van 16K naar 100M tokens. Verder maakt KV-cachecompressie, gecombineerd met Memory Parallel, inferentie van 100M tokens mogelijk op 2xA800 GPU's. Wij stellen ook Memory Interleaving voor om complexe multi-hop-redenering over verspreide geheugensegmenten te vergemakkelijken. MSA overtreft frontier-LLM's, state-of-the-art RAG-systemen en toonaangevende geheugenagenten aanzienlijk in long-context benchmarks. Deze resultaten tonen aan dat MSA, door geheugencapaciteit te ontkoppelen van redenering, een schaalbare basis biedt om algemene modellen te voorzien van intrinsiek, levenslangschaal-geheugen.

English

Long-term memory is a cornerstone of human intelligence. Enabling AI to process lifetime-scale information remains a long-standing pursuit in the field. Due to the constraints of full-attention architectures, the effective context length of large language models (LLMs) is typically limited to 1M tokens. Existing approaches, such as hybrid linear attention, fixed-size memory states (e.g., RNNs), and external storage methods like RAG or agent systems, attempt to extend this limit. However, they often suffer from severe precision degradation and rapidly increasing latency as context length grows, an inability to dynamically modify memory content, or a lack of end-to-end optimization. These bottlenecks impede complex scenarios like large-corpus summarization, Digital Twins, and long-history agent reasoning, while limiting memory capacity and slowing inference. We present Memory Sparse Attention (MSA), an end-to-end trainable, efficient, and massively scalable memory model framework. Through core innovations including scalable sparse attention and document-wise RoPE, MSA achieves linear complexity in both training and inference while maintaining exceptional stability, exhibiting less than 9% degradation when scaling from 16K to 100M tokens. Furthermore, KV cache compression, combined with Memory Parallel, enables 100M-token inference on 2xA800 GPUs. We also propose Memory Interleaving to facilitate complex multi-hop reasoning across scattered memory segments. MSA significantly surpasses frontier LLMs, state-of-the-art RAG systems, and leading memory agents in long-context benchmarks. These results demonstrate that by decoupling memory capacity from reasoning, MSA provides a scalable foundation to endow general-purpose models with intrinsic, lifetime-scale memory.