PersonalAI 2.0: Aprimorando a navegação/recuperação de grafo de conhecimento com mecanismo de planejamento para Agentes LLM Personalizados

Resumo

Apresentamos o PersonalAI 2.0 (PAI-2), uma nova estrutura projetada para melhorar sistemas baseados em modelos de linguagem de grande escala (LLM) por meio da integração de grafos de conhecimento (KG) externos. A abordagem proposta aborda as principais limitações dos métodos existentes de Geração Aumentada por Recuperação em Grafos (GraphRAG) ao incorporar um pipeline dinâmico e multietapas de processamento de consultas. O ponto central do design do PAI-2 é sua capacidade de realizar busca adaptativa e iterativa de informações, guiada por entidades extraídas, vértices do grafo correspondentes e consultas-pista geradas. A avaliação realizada em seis benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue e DiaASQ) demonstra melhora na correção factual das respostas geradas em comparação com métodos análogos (LightRAG, RAPTOR e HippoRAG 2). O PAI-2 obtém um ganho médio de 4% pelo LLM-como-avaliador em quatro benchmarks, refletindo sua eficácia na redução das taxas de alucinação e no aumento da precisão. Mostramos que o uso de algoritmos de travessia de grafo (ex.: BeamSearch, WaterCircles) obtém resultados superiores em média 6% em comparação com o recuperador linear padrão, enquanto o mecanismo de aprimoramento do plano de busca habilitado proporciona um aumento de 18% em comparação com o desabilitado, conforme avaliado pelo LLM-como-avaliador em seis conjuntos de dados. Além disso, o estudo de ablação revela que o PAI-2 atinge o resultado de estado da arte no benchmark MINE-1, alcançando 89% de pontuação de retenção de informações, utilizando LLMs das camadas de 7 a 14 bilhões de parâmetros. Coletivamente, esses achados destacam o potencial do PAI-2 para servir como modelo fundamental para aplicações de IA personalizadas de próxima geração, que exigem representação de conhecimento escalável e consciente do contexto, bem como capacidades de raciocínio.

English

We introduce PersonalAI 2.0 (PAI-2), a novel framework, designed to enhance large language model (LLM) based systems through integration of external knowledge graphs (KG). The proposed approach addresses key limitations of existing Graph Retrieval-Augmented Generation (GraphRAG) methods by incorporating a dynamic, multistage query processing pipeline. The central point of PAI-2 design is its ability to perform adaptive, iterative information search, guided by extracted entities, matched graph vertices and generated clue-queries. Conducted evaluation over six benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue and DiaASQ) demonstrates improvement in factual correctness of generating answers compared to analogues methods (LightRAG, RAPTOR, and HippoRAG 2). PAI-2 achieves 4% average gain by LLM-as-a-Judge across four benchmarks, reflecting its effectiveness in reducing hallucination rates and increasing precision. We show that use of graph traversal algorithms (e.g. BeamSearch, WaterCircles) gain superior results compared to standard flatten retriever on average 6%, while enabled search plan enhancement mechanism gain 18% boost compared to disabled one by LLM-as-a-Judge across six datasets. In addition, ablation study reveals that PAI-2 achieves the SOTA result on MINE-1 benchmark, achieving 89% information-retention score, using LLMs from 7-14B tiers. Collectively, these findings underscore the potential of PAI-2 to serve as a foundational model for next-generation personalized AI applications, requiring scalable, context-aware knowledge representation and reasoning capabilities.