Mela: Test-time geheugenconsolidatie op basis van de transformatiehypothese

Samenvatting

Geheugenconsolidatie, het proces waarbij voorbijgaande ervaringen worden omgezet in stabiele, gestructureerde representaties, is een fundamenteel organiserend principe in het menselijk brein, maar blijft grotendeels onontgonnen als ontwerpprincipe voor moderne sequentiemodellen. In dit werk benutten we gevestigde neurowetenschappelijke theorieën over geheugenconsolidatie en cross-frequentiekoppeling om de Hiërarchische Geheugenmodule (HMM) voor te stellen, een neurale geheugenarchitectuur bestaande uit twee functioneel verschillende submodules die op verschillende updatefrequenties werken. Geïnspireerd door de transformatiehypothese produceert de laagfrequente submodule hoog-niveau representaties die abstracte, gist-niveau kennis vatten, terwijl de hoogfrequente submodule fijnmazige representaties produceert die rijkere episodische details behouden. De uiteindelijke geheugenuitvoer wordt dynamisch gereconstrueerd als een contextafhankelijke combinatie van beide representaties, analoog aan de reconstructieve aard van menselijke geheugenophaling. We integreren HMM in een op Transformers gebaseerde taaldecoder om Mela te vormen, een familie van geheugengeaugmenteerde taalmodellen die online geheugenconsolidatie uitvoeren tijdens testtijd. Om de multigranulaire geheugenrepresentaties geproduceerd door HMM verder te benutten, introduceren we MemStack, een methode die verschillende niveaus van geheugenkenmerken verdeelt over de vroege lagen van de decoder zonder extra tokens toe te voegen. Experimenten met taalmodellering tonen aan dat Mela beter presteert dan Transformer-baselines over alle modelgroottes. Bovendien, met een vaste pretrainingscontextlengte van 4K, behoudt Mela de prestaties op aanzienlijk langere contexten, terwijl Transformer-baselines snel verslechteren voorbij hun trainingslengte. Uitgebreide ablatiestudies valideren de bijdrage van elke component en bieden richtlijnen voor praktische configuratie.

English

Memory consolidation, the process by which transient experiences are transformed into stable, structured representations, is a foundational organizing principle in the human brain, yet it remains largely unexplored as a design principle for modern sequence models. In this work, we leverage established neuroscientific theories of memory consolidation and cross-frequency coupling to propose the Hierarchical Memory Module (HMM), a neural memory architecture composed of two functionally distinct sub-modules that operate at different update frequencies. Inspired by the transformation hypothesis, the low-frequency sub-module produces high-level representations that capture abstract, gist-level knowledge, while the high-frequency sub-module produces fine-grained representations that preserve richer episodic detail. The final memory output is dynamically reconstructed as a context-dependent combination of both representations, analogous to the reconstructive nature of human memory retrieval. We integrate HMM into a Transformer-based language decoder to form Mela, a family of memory-augmented language models that perform online memory consolidation at test time. To further exploit the multi-granularity memory representations produced by HMM, we introduce MemStack, a method that distributes different levels of memory features across the early layers of the decoder without introducing additional tokens. Experiments on language modeling demonstrate that Mela outperforms Transformer baselines across all the model sizes. Moreover, with the pretrained context length fixed at 4K, Mela maintains performance on significantly longer contexts, whereas Transformer baselines degrade rapidly beyond their training length. Extensive ablation studies validate the contribution of each component and provide guidance for practical configuration.