効率的な長文脈モデリングのための人工海馬ネットワーク

Artificial Hippocampus Networks for Efficient Long-Context Modeling

October 8, 2025

著者: Yunhao Fang, Weihao Yu, Shu Zhong, Qinghao Ye, Xuehan Xiong, Lai Wei

cs.AI

要旨

長系列モデリングにおいては、RNNのようなモデルにおける圧縮された固定サイズメモリの効率性と、アテンションベースのTransformerにおけるロスレスな拡張メモリの忠実性との間で、根本的なトレードオフが存在する。認知科学におけるマルチストアモデルに着想を得て、我々は人工ニューラルネットワークのメモリフレームワークを提案する。本手法では、TransformerのKVキャッシュをロスレスな短期記憶としてスライディングウィンドウで維持しつつ、Artificial Hippocampus Network（AHN）と呼ばれる学習可能なモジュールがウィンドウ外の情報を固定サイズのコンパクトな長期記憶に再帰的に圧縮する。このフレームワークを検証するため、Mamba2、DeltaNet、Gated DeltaNetといった現代的なRNNライクなアーキテクチャを用いてAHNを実装した。長文脈ベンチマークLV-EvalおよびInfiniteBenchにおける広範な実験により、AHNを組み込んだモデルがスライディングウィンドウベースラインを一貫して上回り、フルアテンションモデルに匹敵するかそれ以上の性能を達成しつつ、計算量とメモリ要件を大幅に削減することが示された。例えば、Qwen2.5-3B-InstructにAHNを組み込むことで、推論FLOPsを40.5%、メモリキャッシュを74.0%削減し、LV-Eval（128k系列長）における平均スコアを4.41から5.88に向上させた。コードはhttps://github.com/ByteDance-Seed/AHNで公開されている。

English

Long-sequence modeling faces a fundamental trade-off between the efficiency of compressive fixed-size memory in RNN-like models and the fidelity of lossless growing memory in attention-based Transformers. Inspired by the Multi-Store Model in cognitive science, we introduce a memory framework of artificial neural networks. Our method maintains a sliding window of the Transformer's KV cache as lossless short-term memory, while a learnable module termed Artificial Hippocampus Network (AHN) recurrently compresses out-of-window information into a fixed-size compact long-term memory. To validate this framework, we instantiate AHNs using modern RNN-like architectures, including Mamba2, DeltaNet, and Gated DeltaNet. Extensive experiments on long-context benchmarks LV-Eval and InfiniteBench demonstrate that AHN-augmented models consistently outperform sliding window baselines and achieve performance comparable or even superior to full-attention models, while substantially reducing computational and memory requirements. For instance, augmenting the Qwen2.5-3B-Instruct with AHNs reduces inference FLOPs by 40.5% and memory cache by 74.0%, while improving its average score on LV-Eval (128k sequence length) from 4.41 to 5.88. Code is available at: https://github.com/ByteDance-Seed/AHN.