Reti Artificiali dell'Ippocampo per una Modellizzazione Efficiente di Contesti Lunghi

Artificial Hippocampus Networks for Efficient Long-Context Modeling

October 8, 2025

Autori: Yunhao Fang, Weihao Yu, Shu Zhong, Qinghao Ye, Xuehan Xiong, Lai Wei

cs.AI

Abstract

La modellazione di sequenze lunghe affronta un compromesso fondamentale tra l'efficienza della memoria compressa a dimensione fissa nei modelli di tipo RNN e la fedeltà della memoria in crescita senza perdita nei Transformer basati su attenzione. Ispirati dal Modello Multi-Store delle scienze cognitive, introduciamo un framework di memoria per le reti neurali artificiali. Il nostro metodo mantiene una finestra scorrevole della cache KV del Transformer come memoria a breve termine senza perdita, mentre un modulo apprendibile denominato Artificial Hippocampus Network (AHN) comprime ricorsivamente le informazioni fuori dalla finestra in una memoria a lungo termine compatta di dimensione fissa. Per validare questo framework, istanziamo gli AHN utilizzando moderne architetture di tipo RNN, tra cui Mamba2, DeltaNet e Gated DeltaNet. Esperimenti estesi sui benchmark di contesto lungo LV-Eval e InfiniteBench dimostrano che i modelli potenziati da AHN superano costantemente le baseline a finestra scorrevole e raggiungono prestazioni comparabili o addirittura superiori ai modelli a piena attenzione, riducendo sostanzialmente i requisiti computazionali e di memoria. Ad esempio, potenziare il Qwen2.5-3B-Instruct con AHN riduce i FLOP di inferenza del 40.5% e la cache di memoria del 74.0%, migliorando il suo punteggio medio su LV-Eval (lunghezza sequenza 128k) da 4.41 a 5.88. Il codice è disponibile all'indirizzo: https://github.com/ByteDance-Seed/AHN.

English

Long-sequence modeling faces a fundamental trade-off between the efficiency of compressive fixed-size memory in RNN-like models and the fidelity of lossless growing memory in attention-based Transformers. Inspired by the Multi-Store Model in cognitive science, we introduce a memory framework of artificial neural networks. Our method maintains a sliding window of the Transformer's KV cache as lossless short-term memory, while a learnable module termed Artificial Hippocampus Network (AHN) recurrently compresses out-of-window information into a fixed-size compact long-term memory. To validate this framework, we instantiate AHNs using modern RNN-like architectures, including Mamba2, DeltaNet, and Gated DeltaNet. Extensive experiments on long-context benchmarks LV-Eval and InfiniteBench demonstrate that AHN-augmented models consistently outperform sliding window baselines and achieve performance comparable or even superior to full-attention models, while substantially reducing computational and memory requirements. For instance, augmenting the Qwen2.5-3B-Instruct with AHNs reduces inference FLOPs by 40.5% and memory cache by 74.0%, while improving its average score on LV-Eval (128k sequence length) from 4.41 to 5.88. Code is available at: https://github.com/ByteDance-Seed/AHN.