PEARL: Personalisierung von Schreibassistenten mit großen Sprachmodellen durch generationskalibrierte Retriever

PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

November 15, 2023

Autoren: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi

cs.AI

Zusammenfassung

Leistungsstarke große Sprachmodelle haben die Entwicklung von Schreibassistenten ermöglicht, die versprechen, die Qualität und Effizienz des Verfassens und der Kommunikation erheblich zu verbessern. Ein Hindernis für eine effektive Unterstützung ist jedoch der Mangel an Personalisierung der Ausgaben von LLMs an den Kommunikationsstil und das spezialisierte Wissen des Autors. In diesem Papier gehen wir diese Herausforderung an, indem wir PEARL vorschlagen, einen retrieval-augmentierten LLM-Schreibassistenten, der mit einem generation-kalibrierten Retriever personalisiert wird. Unser Retriever wird darauf trainiert, historische, vom Benutzer verfasste Dokumente für die Prompt-Erweiterung auszuwählen, sodass sie wahrscheinlich die LLM-Generierungen für eine Benutzeranfrage am besten personalisieren. Wir schlagen zwei wesentliche Neuerungen für das Training unseres Retrievers vor: 1) Eine Methode zur Auswahl von Trainingsdaten, die Benutzeranfragen identifiziert, die wahrscheinlich von einer Personalisierung profitieren, sowie Dokumente, die diesen Nutzen bieten; und 2) Ein skalierkalibrierendes KL-Divergenz-Ziel, das sicherstellt, dass unser Retriever den Nutzen eines Dokuments für die personalisierte Generierung genau verfolgt. Wir demonstrieren die Wirksamkeit von PEARL bei der Generierung personalisierter Social-Media-Beiträge und Reddit-Kommentare am Arbeitsplatz. Schließlich zeigen wir das Potenzial eines generation-kalibrierten Retrievers auf, der gleichzeitig als Leistungsprädiktor fungiert und qualitativ minderwertige Generierungen durch LLM-Chaining weiter verbessert.

English

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.