HAGE : Exploitation de la mémoire agentive via l'évolution de graphe pondéré pilotée par RL

Résumé

La récupération de mémoire dans les systèmes d'agents basés sur de grands modèles de langage (LLM) est souvent traitée comme un problème de recherche statique, reposant sur une recherche vectorielle plate ou des graphes relationnels binaires fixes. Cependant, les structures de graphes fixes ne peuvent pas capturer la force variable, la confiance et la pertinence dépendante de la requête des relations entre les événements. Dans cet article, nous proposons HAGE, un cadre de mémoire multi-relationnelle pondérée qui reconceptualise la récupération comme un parcours séquentiel conditionné par la requête sur un graphe de mémoire relationnelle unifié. La mémoire est organisée en vues de graphes spécifiques à chaque relation sur des nœuds de mémoire partagés, où chaque arête est associée à un vecteur de caractéristiques relationnelles entraînables encodant plusieurs signaux relationnels. Étant donné une requête, un classifieur basé sur un LLM identifie l'intention relationnelle, et un réseau de routage module dynamiquement les dimensions correspondantes du plongement d'arête. Les scores de parcours sont calculés via une combinaison apprise de similarité sémantique et de ces représentations d'arêtes conditionnées par la requête. Cela permet au parcours de mémoire de prioriser les chemins relationnels à haute utilité tout en supprimant doucement les connexions bruyantes ou faiblement pertinentes. Au-delà du parcours adaptatif, HAGE introduit en outre un cadre d'apprentissage basé sur l'apprentissage par renforcement qui optimise conjointement le comportement de routage et les représentations d'arêtes à l'aide de tâches en aval. Enfin, les résultats empiriques démontrent une précision améliorée du raisonnement à long terme et un compromis précision-efficacité favorable par rapport aux systèmes de mémoire d'agents de pointe. Notre code est disponible à l'adresse https://github.com/FredJiang0324/HAGE_MVPReview.

English

Memory retrieval in agentic large language model (LLM) systems is often treated as a static lookup problem, relying on flat vector search or fixed binary relational graphs. However, fixed graph structures cannot capture the varying strength, confidence, and query-dependent relevance of relationships between events. In this paper, we propose HAGE, a weighted multi-relational memory framework that reconceptualizes retrieval as sequential, query-conditioned traversal over a unified relational memory graph. Memory is organized as relation-specific graph views over shared memory nodes, where each edge is associated with a trainable relation feature vector encoding multiple relational signals. Given a query, an LLM-based classifier identifies the relational intent, and a routing network dynamically modulates the corresponding dimensions of the edge embedding. Traversal scores are computed via a learned combination of semantic similarity and these query-conditioned edge representations. This allows memory traversal to prioritize high-utility relational paths while softly suppressing noisy or weakly relevant connections. Beyond adaptive traversal, HAGE further introduces a reinforcement learning-based training framework that jointly optimizes routing behavior and edge representations using downstream tasks. Finally, empirical results demonstrate improved long-horizon reasoning accuracy and a favorable accuracy-efficiency trade-off compared to state-of-the-art agentic memory systems. Our code is available at https://github.com/FredJiang0324/HAGE_MVPReview.