Personalisierte graphenbasierte Suche für große Sprachmodelle

Personalized Graph-Based Retrieval for Large Language Models

January 4, 2025

Autoren: Steven Au, Cameron J. Dimacali, Ojasmitha Pedirappagari, Namyong Park, Franck Dernoncourt, Yu Wang, Nikos Kanakaris, Hanieh Deilamsalehy, Ryan A. Rossi, Nesreen K. Ahmed

cs.AI

Zusammenfassung

Mit der Weiterentwicklung großer Sprachmodelle (LLMs) bietet sich durch ihre Fähigkeit, personalisierte und kontextbewusste Antworten zu liefern, ein transformatives Potenzial zur Verbesserung der Benutzererfahrung. Bestehende Personalisierungsansätze stützen sich jedoch oft ausschließlich auf die Nutzerhistorie, um die Eingabe zu ergänzen, was ihre Wirksamkeit bei der Generierung maßgeschneiderter Ausgaben, insbesondere in Szenarien mit wenigen Daten im sogenannten Kaltstart, einschränkt. Um diese Einschränkungen zu überwinden, schlagen wir Personalized Graph-based Retrieval-Augmented Generation (PGraphRAG) vor, ein Framework, das nutzerzentrierte Wissensgraphen nutzt, um die Personalisierung zu bereichern. Durch die direkte Integration strukturierter Nutzerkenntnisse in den Abrufprozess und die Ergänzung von Eingaben mit nutzerrelevantem Kontext verbessert PGraphRAG das kontextuelle Verständnis und die Ausgabequalität. Wir stellen auch den Personalized Graph-based Benchmark für Textgenerierung vor, der entwickelt wurde, um personalisierte Textgenerierungsaufgaben in realen Umgebungen zu bewerten, in denen die Nutzerhistorie spärlich oder nicht verfügbar ist. Experimentelle Ergebnisse zeigen, dass PGraphRAG signifikant bessere Leistungen als führende Personalisierungsmethoden in verschiedenen Aufgaben erbringt und somit die einzigartigen Vorteile des graphenbasierten Abrufs für die Personalisierung demonstriert.

English

As large language models (LLMs) evolve, their ability to deliver personalized and context-aware responses offers transformative potential for improving user experiences. Existing personalization approaches, however, often rely solely on user history to augment the prompt, limiting their effectiveness in generating tailored outputs, especially in cold-start scenarios with sparse data. To address these limitations, we propose Personalized Graph-based Retrieval-Augmented Generation (PGraphRAG), a framework that leverages user-centric knowledge graphs to enrich personalization. By directly integrating structured user knowledge into the retrieval process and augmenting prompts with user-relevant context, PGraphRAG enhances contextual understanding and output quality. We also introduce the Personalized Graph-based Benchmark for Text Generation, designed to evaluate personalized text generation tasks in real-world settings where user history is sparse or unavailable. Experimental results show that PGraphRAG significantly outperforms state-of-the-art personalization methods across diverse tasks, demonstrating the unique advantages of graph-based retrieval for personalization.