PersonalAI: Een Systematische Vergelijking van Kennisgraafopslag- en Retrievalbenaderingen voor Gepersonaliseerde LLM-agenten
PersonalAI: A Systematic Comparison of Knowledge Graph Storage and Retrieval Approaches for Personalized LLM agents
April 12, 2026
Auteurs: Mikhail Menschikov, Dmitry Evseev, Victoria Dochkina, Ruslan Kostoev, Ilia Perepechkin, Petr Anokhin, Nikita Semenov, Evgeny Burnaev
cs.AI
Samenvatting
Het personaliseren van taalmodellen door gebruikersinteractiegeschiedenis effectief te integreren, blijft een centrale uitdaging in de ontwikkeling van adaptieve AI-systemen. Hoewel grote taalmodellen (LLM's), gecombineerd met Retrieval-Augmented Generation (RAG), de feitelijke nauwkeurigheid hebben verbeterd, beschikken ze vaak niet over gestructureerd geheugen en schalen ze onvoldoende in complexe, langdurige interacties. Om dit aan te pakken, stellen we een flexibel extern geheugenkader voor op basis van een kennisgraaf die automatisch door de LLM wordt opgebouwd en bijgewerkt. Voortbouwend op de AriGraph-architectuur introduceren we een nieuwe hybride graafontwerp dat zowel standaard edges als twee soorten hyperedges ondersteunt, wat rijke en dynamische semantische en temporele representaties mogelijk maakt. Ons kader ondersteunt ook diverse retrievalsmechanismen, waaronder A*-traversal, WaterCircles-traversal, beam search en hybride methoden, waardoor het aanpasbaar is aan verschillende datasets en LLM-capaciteiten. We evalueren ons systeem op TriviaQA-, HotpotQA- en DiaASQ-benchmarks en tonen aan dat verschillende geheugen- en retrievalconfiguraties optimale prestaties opleveren afhankelijk van de taak. Daarnaast breiden we de DiaASQ-benchmark uit met temporele annotaties en intern tegenstrijdige beweringen, waarbij we aantonen dat ons systeem robuust en effectief blijft in het beheren van temporele afhankelijkheden en contextbewust redeneren.
English
Personalizing language models by effectively incorporating user interaction history remains a central challenge in the development of adaptive AI systems. While large language models (LLMs), combined with Retrieval-Augmented Generation (RAG), have improved factual accuracy, they often lack structured memory and fail to scale in complex, long-term interactions. To address this, we propose a flexible external memory framework based on a knowledge graph that is constructed and updated automatically by the LLM. Building upon the AriGraph architecture, we introduce a novel hybrid graph design that supports both standard edges and two types of hyper-edges, enabling rich and dynamic semantic and temporal representations. Our framework also supports diverse retrieval mechanisms, including A*, WaterCircles traversal, beam search, and hybrid methods, making it adaptable to different datasets and LLM capacities. We evaluate our system on TriviaQA, HotpotQA, DiaASQ benchmarks and demonstrate that different memory and retrieval configurations yield optimal performance depending on the task. Additionally, we extend the DiaASQ benchmark with temporal annotations and internally contradictory statements, showing that our system remains robust and effective in managing temporal dependencies and context-aware reasoning