PersonalAI: Ein systematischer Vergleich von Wissensgraphen-Speicherungs- und Abfrageansätzen für personalisierte LLM-Agenten
PersonalAI: A Systematic Comparison of Knowledge Graph Storage and Retrieval Approaches for Personalized LLM agents
April 12, 2026
Autoren: Mikhail Menschikov, Dmitry Evseev, Victoria Dochkina, Ruslan Kostoev, Ilia Perepechkin, Petr Anokhin, Nikita Semenov, Evgeny Burnaev
cs.AI
Zusammenfassung
Die Personalisierung von Sprachmodellen durch effektive Einbeziehung der Nutzerinteraktionshistorie bleibt eine zentrale Herausforderung in der Entwicklung adaptiver KI-Systeme. Während große Sprachmodelle (LLMs) in Kombination mit retrieval-augmentierter Generierung (RAG) die faktische Genauigkeit verbessert haben, fehlt es ihnen oft an strukturiertem Gedächtnis, und sie skalieren schlecht in komplexen, langfristigen Interaktionen. Um dies zu adressieren, schlagen wir einen flexiblen, externen Gedächtnisrahmen auf Basis eines Wissensgraphen vor, der automatisch vom LLM konstruiert und aktualisiert wird. Aufbauend auf der AriGraph-Architektur führen wir ein neuartiges Hybrid-Graph-Design ein, das sowohl Standard-Kanten als auch zwei Arten von Hyperkanten unterstützt und damit reiche, dynamische semantische und temporale Repräsentationen ermöglicht. Unser Framework unterstützt zudem diverse Retrieval-Mechanismen, inklusive A*, WaterCircles-Traversierung, Strahlensuche und hybride Methoden, was es anpassungsfähig für verschiedene Datensätze und LLM-Kapazitäten macht. Wir evaluieren unser System anhand der Benchmarks TriviaQA, HotpotQA und DiaASQ und zeigen, dass je nach Aufgabe unterschiedliche Gedächtnis- und Retrieval-Konfigurationen optimale Leistung erbringen. Zusätzlich erweitern wir den DiaASQ-Benchmark um temporale Annotationen und intern widersprüchliche Aussagen und zeigen, dass unser System robust und effektiv im Umgang mit temporalen Abhängigkeiten und kontextsensiblem Schließen bleibt.
English
Personalizing language models by effectively incorporating user interaction history remains a central challenge in the development of adaptive AI systems. While large language models (LLMs), combined with Retrieval-Augmented Generation (RAG), have improved factual accuracy, they often lack structured memory and fail to scale in complex, long-term interactions. To address this, we propose a flexible external memory framework based on a knowledge graph that is constructed and updated automatically by the LLM. Building upon the AriGraph architecture, we introduce a novel hybrid graph design that supports both standard edges and two types of hyper-edges, enabling rich and dynamic semantic and temporal representations. Our framework also supports diverse retrieval mechanisms, including A*, WaterCircles traversal, beam search, and hybrid methods, making it adaptable to different datasets and LLM capacities. We evaluate our system on TriviaQA, HotpotQA, DiaASQ benchmarks and demonstrate that different memory and retrieval configurations yield optimal performance depending on the task. Additionally, we extend the DiaASQ benchmark with temporal annotations and internally contradictory statements, showing that our system remains robust and effective in managing temporal dependencies and context-aware reasoning