PersonalAI 2.0: Verbeteren van kennisgraaf-traversal/retrieval met planningsmechanisme voor gepersonaliseerde LLM-agenten

Samenvatting

We introduceren PersonalAI 2.0 (PAI-2), een nieuw raamwerk dat is ontworpen om op grote taalmodellen (LLM's) gebaseerde systemen te verbeteren door integratie van externe kennisgrafen (KG). De voorgestelde aanpak pakt belangrijke beperkingen van bestaande Graph Retrieval-Augmented Generation (GraphRAG)-methoden aan door een dynamische, meertraps queryverwerkingspijplijn te implementeren. Het centrale punt van het ontwerp van PAI-2 is het vermogen om adaptieve, iteratieve informatiezoekopdrachten uit te voeren, geleid door geëxtraheerde entiteiten, gematchte graafknopen en gegenereerde clue-queries. Uitgevoerde evaluatie over zes benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue en DiaASQ) toont verbetering in feitelijke correctheid van het genereren van antwoorden in vergelijking met analoge methoden (LightRAG, RAPTOR en HippoRAG 2). PAI-2 behaalt een gemiddelde winst van 4% volgens LLM-as-a-Judge over vier benchmarks, wat de effectiviteit weerspiegelt in het verminderen van hallucinatiepercentages en het verhogen van precisie. We tonen aan dat het gebruik van graaftraversale algoritmen (bijv. BeamSearch, WaterCircles) superieure resultaten oplevert in vergelijking met standaard flatten retriever met gemiddeld 6%, terwijl het ingeschakelde zoekplanverbeteringsmechanisme een boost van 18% geeft ten opzichte van het uitgeschakelde mechanisme volgens LLM-as-a-Judge over zes datasets. Bovendien onthult een ablatiestudie dat PAI-2 het SOTA-resultaat behaalt op de MINE-1-benchmark, met een informatieretentiescore van 89%, gebruikmakend van LLM's uit de 7-14B-klasse. Gezamenlijk onderstrepen deze bevindingen het potentieel van PAI-2 om te dienen als een fundamenteel model voor de volgende generatie gepersonaliseerde AI-toepassingen, die schaalbare, contextbewuste kennisrepresentatie en redeneervermogens vereisen.

English

We introduce PersonalAI 2.0 (PAI-2), a novel framework, designed to enhance large language model (LLM) based systems through integration of external knowledge graphs (KG). The proposed approach addresses key limitations of existing Graph Retrieval-Augmented Generation (GraphRAG) methods by incorporating a dynamic, multistage query processing pipeline. The central point of PAI-2 design is its ability to perform adaptive, iterative information search, guided by extracted entities, matched graph vertices and generated clue-queries. Conducted evaluation over six benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue and DiaASQ) demonstrates improvement in factual correctness of generating answers compared to analogues methods (LightRAG, RAPTOR, and HippoRAG 2). PAI-2 achieves 4% average gain by LLM-as-a-Judge across four benchmarks, reflecting its effectiveness in reducing hallucination rates and increasing precision. We show that use of graph traversal algorithms (e.g. BeamSearch, WaterCircles) gain superior results compared to standard flatten retriever on average 6%, while enabled search plan enhancement mechanism gain 18% boost compared to disabled one by LLM-as-a-Judge across six datasets. In addition, ablation study reveals that PAI-2 achieves the SOTA result on MINE-1 benchmark, achieving 89% information-retention score, using LLMs from 7-14B tiers. Collectively, these findings underscore the potential of PAI-2 to serve as a foundational model for next-generation personalized AI applications, requiring scalable, context-aware knowledge representation and reasoning capabilities.