PersonalAI 2.0 : Amélioration du parcours et de la récupération de graphes de connaissances via un mécanisme de planification pour les agents LLM personnalisés

Résumé

Nous présentons PersonalAI 2.0 (PAI-2), un nouveau cadre conçu pour améliorer les systèmes basés sur les grands modèles de langage (LLM) grâce à l'intégration de graphes de connaissances (KG) externes. L'approche proposée pallie les limitations clés des méthodes existantes de Génération Augmentée par Recherche dans des Graphes (GraphRAG) en intégrant un pipeline dynamique de traitement de requêtes en plusieurs étapes. Le point central de la conception de PAI-2 réside dans sa capacité à effectuer une recherche itérative et adaptative d'informations, guidée par des entités extraites, des sommets de graphe appariés et des requêtes-indices générées. L'évaluation menée sur six benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue et DiaASQ) démontre une amélioration de l'exactitude factuelle des réponses générées par rapport aux méthodes analogues (LightRAG, RAPTOR et HippoRAG 2). PAI-2 obtient un gain moyen de 4 % selon l'évaluation LLM-en-tant-que-juge sur quatre benchmarks, reflétant son efficacité à réduire le taux d'hallucinations et à accroître la précision. Nous montrons que l'utilisation d'algorithmes de parcours de graphe (par exemple BeamSearch, WaterCircles) donne des résultats supérieurs à ceux d'un extracteur plat standard, avec un gain moyen de 6 %, tandis que le mécanisme d'amélioration du plan de recherche activé procure un gain de 18 % par rapport à un état désactivé selon l'évaluation LLM-en-tant-que-juge sur six ensembles de données. De plus, une étude d'ablation révèle que PAI-2 atteint le résultat SOTA sur le benchmark MINE-1, avec un score de rétention d'information de 89 %, en utilisant des LLM des niveaux 7 à 14B de paramètres. Collectivement, ces résultats soulignent le potentiel de PAI-2 à servir de modèle fondateur pour les applications d'IA personnalisées de nouvelle génération, nécessitant des capacités de représentation et de raisonnement des connaissances évolutives et contextuelles.

English

We introduce PersonalAI 2.0 (PAI-2), a novel framework, designed to enhance large language model (LLM) based systems through integration of external knowledge graphs (KG). The proposed approach addresses key limitations of existing Graph Retrieval-Augmented Generation (GraphRAG) methods by incorporating a dynamic, multistage query processing pipeline. The central point of PAI-2 design is its ability to perform adaptive, iterative information search, guided by extracted entities, matched graph vertices and generated clue-queries. Conducted evaluation over six benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue and DiaASQ) demonstrates improvement in factual correctness of generating answers compared to analogues methods (LightRAG, RAPTOR, and HippoRAG 2). PAI-2 achieves 4% average gain by LLM-as-a-Judge across four benchmarks, reflecting its effectiveness in reducing hallucination rates and increasing precision. We show that use of graph traversal algorithms (e.g. BeamSearch, WaterCircles) gain superior results compared to standard flatten retriever on average 6%, while enabled search plan enhancement mechanism gain 18% boost compared to disabled one by LLM-as-a-Judge across six datasets. In addition, ablation study reveals that PAI-2 achieves the SOTA result on MINE-1 benchmark, achieving 89% information-retention score, using LLMs from 7-14B tiers. Collectively, these findings underscore the potential of PAI-2 to serve as a foundational model for next-generation personalized AI applications, requiring scalable, context-aware knowledge representation and reasoning capabilities.