PEARL: Personalisatie van Schrijfassistenten met Grote Taalmodellen met Generatie-Gecalibreerde Retrievers

PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

November 15, 2023

Auteurs: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi

cs.AI

Samenvatting

Krachtige grote taalmodellen hebben de ontwikkeling van schrijfassistenten mogelijk gemaakt die beloven de kwaliteit en efficiëntie van compositie en communicatie aanzienlijk te verbeteren. Een belemmering voor effectieve ondersteuning is echter het gebrek aan personalisatie in de uitvoer van LLM's (Large Language Models) ten opzichte van de communicatiestijl en gespecialiseerde kennis van de auteur. In dit artikel gaan we deze uitdaging aan door PEARL voor te stellen, een retrieval-augmented LLM-schrijfassistent die gepersonaliseerd is met een generatie-gekalibreerde retriever. Onze retriever is getraind om historische documenten die door de gebruiker zijn geschreven te selecteren voor prompt-augmentatie, zodat deze waarschijnlijk de LLM-generaties het best personaliseren voor een gebruikersverzoek. We introduceren twee belangrijke innovaties voor het trainen van onze retriever: 1) Een methode voor het selecteren van trainingsgegevens die gebruikersverzoeken identificeert die waarschijnlijk baat hebben bij personalisatie en documenten die die voordelen bieden; en 2) Een scale-calibrating KL-divergentie-objectief dat ervoor zorgt dat onze retriever nauwlettend het voordeel van een document voor gepersonaliseerde generatie volgt. We demonstreren de effectiviteit van PEARL in het genereren van gepersonaliseerde sociale media-berichten op de werkplek en Reddit-reacties. Tot slot tonen we het potentieel aan van een generatie-gekalibreerde retriever om ook als prestatievoorspeller te fungeren en generaties van lage kwaliteit verder te verbeteren via LLM-chaining.

English

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.