Искусственные сети гиппокампа для эффективного моделирования длинных контекстов
Artificial Hippocampus Networks for Efficient Long-Context Modeling
October 8, 2025
Авторы: Yunhao Fang, Weihao Yu, Shu Zhong, Qinghao Ye, Xuehan Xiong, Lai Wei
cs.AI
Аннотация
Моделирование длинных последовательностей сталкивается с фундаментальным компромиссом между эффективностью сжатой памяти фиксированного размера в моделях, подобных рекуррентным нейронным сетям (RNN), и точностью без потерь растущей памяти в трансформерах на основе механизма внимания. Вдохновленные Многоуровневой Моделью Памяти из когнитивной науки, мы представляем концепцию памяти для искусственных нейронных сетей. Наш метод поддерживает скользящее окно кэша ключей и значений (KV) трансформера как без потерь кратковременной памяти, в то время как обучаемый модуль, названный Искусственной Сетью Гиппокампа (Artificial Hippocampus Network, AHN), рекурсивно сжимает информацию за пределами окна в компактную долговременную память фиксированного размера. Для проверки этой концепции мы реализуем AHN с использованием современных архитектур, подобных RNN, включая Mamba2, DeltaNet и Gated DeltaNet. Многочисленные эксперименты на бенчмарках для длинных контекстов LV-Eval и InfiniteBench демонстрируют, что модели, дополненные AHN, стабильно превосходят базовые подходы со скользящим окном и достигают производительности, сопоставимой или даже превосходящей модели с полным вниманием, при этом значительно снижая вычислительные и ресурсные затраты. Например, добавление AHN к модели Qwen2.5-3B-Instruct сокращает количество операций с плавающей запятой (FLOPs) на 40,5% и объем кэша памяти на 74,0%, одновременно улучшая средний балл на LV-Eval (длина последовательности 128k) с 4,41 до 5,88. Код доступен по адресу: https://github.com/ByteDance-Seed/AHN.
English
Long-sequence modeling faces a fundamental trade-off between the efficiency
of compressive fixed-size memory in RNN-like models and the fidelity of
lossless growing memory in attention-based Transformers. Inspired by the
Multi-Store Model in cognitive science, we introduce a memory framework of
artificial neural networks. Our method maintains a sliding window of the
Transformer's KV cache as lossless short-term memory, while a learnable module
termed Artificial Hippocampus Network (AHN) recurrently compresses
out-of-window information into a fixed-size compact long-term memory. To
validate this framework, we instantiate AHNs using modern RNN-like
architectures, including Mamba2, DeltaNet, and Gated DeltaNet. Extensive
experiments on long-context benchmarks LV-Eval and InfiniteBench demonstrate
that AHN-augmented models consistently outperform sliding window baselines and
achieve performance comparable or even superior to full-attention models, while
substantially reducing computational and memory requirements. For instance,
augmenting the Qwen2.5-3B-Instruct with AHNs reduces inference FLOPs by 40.5%
and memory cache by 74.0%, while improving its average score on LV-Eval (128k
sequence length) from 4.41 to 5.88. Code is available at:
https://github.com/ByteDance-Seed/AHN.