HAGE: Agentisch geheugen benutten via RL-gestuurde gewogen graafevolutie

Samenvatting

Geheugenretrieval in agentische grote taalmodel (LLM) systemen wordt vaak behandeld als een statisch opzoekprobleem, gebaseerd op platte vectorzoekopdrachten of vaste binaire relationele grafen. Vaste graafstructuren kunnen echter de variërende sterkte, betrouwbaarheid en query-afhankelijke relevantie van relaties tussen gebeurtenissen niet vatten. In dit artikel stellen we HAGE voor, een gewogen multi-relationeel geheugenframework dat retrieval herconceptualiseert als een sequentiële, query-geconditioneerde traversatie over een uniforme relationele geheugengraaf. Het geheugen is georganiseerd als relatie-specifieke graafweergaven over gedeelde geheugenknooppunten, waarbij elke rand is geassocieerd met een trainbare relatiekenmerkvector die meerdere relationele signalen codeert. Gegeven een query identificeert een op LLM gebaseerde classifier de relationele intentie, en een routeringsnetwerk moduleert dynamisch de overeenkomstige dimensies van de randembedding. Traversatiescores worden berekend via een geleerde combinatie van semantische gelijkenis en deze query-geconditioneerde randrepresentaties. Hierdoor kan geheugentraversatie paden met hoge bruikbaarheid prioriteren, terwijl ruizige of zwak relevante verbindingen zachtjes worden onderdrukt. Naast adaptieve traversatie introduceert HAGE verder een op reinforcement learning gebaseerd trainingsframework dat zowel het routeringsgedrag als de randrepresentaties gezamenlijk optimaliseert met behulp van downstream taken. Ten slotte tonen empirische resultaten een verbeterde nauwkeurigheid bij redeneren over langetermijnhorizons en een gunstige afweging tussen nauwkeurigheid en efficiëntie in vergelijking met state-of-the-art agentische geheugensystemen. Onze code is beschikbaar op https://github.com/FredJiang0324/HAGE_MVPReview.

English

Memory retrieval in agentic large language model (LLM) systems is often treated as a static lookup problem, relying on flat vector search or fixed binary relational graphs. However, fixed graph structures cannot capture the varying strength, confidence, and query-dependent relevance of relationships between events. In this paper, we propose HAGE, a weighted multi-relational memory framework that reconceptualizes retrieval as sequential, query-conditioned traversal over a unified relational memory graph. Memory is organized as relation-specific graph views over shared memory nodes, where each edge is associated with a trainable relation feature vector encoding multiple relational signals. Given a query, an LLM-based classifier identifies the relational intent, and a routing network dynamically modulates the corresponding dimensions of the edge embedding. Traversal scores are computed via a learned combination of semantic similarity and these query-conditioned edge representations. This allows memory traversal to prioritize high-utility relational paths while softly suppressing noisy or weakly relevant connections. Beyond adaptive traversal, HAGE further introduces a reinforcement learning-based training framework that jointly optimizes routing behavior and edge representations using downstream tasks. Finally, empirical results demonstrate improved long-horizon reasoning accuracy and a favorable accuracy-efficiency trade-off compared to state-of-the-art agentic memory systems. Our code is available at https://github.com/FredJiang0324/HAGE_MVPReview.