PEARL : Personnalisation des assistants d'écriture basés sur des modèles de langage massifs grâce à des systèmes de récupération calibrés pour la génération
PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers
November 15, 2023
Auteurs: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi
cs.AI
Résumé
Les modèles de langage de grande envergure ont facilité le développement d'assistants d'écriture qui promettent d'améliorer significativement la qualité et l'efficacité de la composition et de la communication. Cependant, un obstacle à une assistance efficace est le manque de personnalisation des sorties des modèles de langage par rapport au style de communication et aux connaissances spécialisées de l'auteur. Dans cet article, nous relevons ce défi en proposant PEARL, un assistant d'écriture basé sur un modèle de langage augmenté par un système de récupération personnalisé et calibré pour la génération. Notre système de récupération est entraîné à sélectionner des documents historiques rédigés par l'utilisateur pour augmenter les prompts, de manière à ce qu'ils soient susceptibles de personnaliser au mieux les générations du modèle de langage pour une requête utilisateur. Nous proposons deux innovations clés pour l'entraînement de notre système de récupération : 1) Une méthode de sélection des données d'entraînement qui identifie les requêtes utilisateurs susceptibles de bénéficier d'une personnalisation et les documents qui fournissent cet avantage ; et 2) Un objectif de divergence KL calibré à l'échelle qui garantit que notre système de récupération suit de près l'avantage d'un document pour la génération personnalisée. Nous démontrons l'efficacité de PEARL dans la génération de publications personnalisées sur les réseaux sociaux professionnels et de commentaires Reddit. Enfin, nous mettons en évidence le potentiel d'un système de récupération calibré pour la génération à jouer un double rôle de prédicteur de performance et à améliorer davantage les générations de faible qualité via l'enchaînement de modèles de langage.
English
Powerful large language models have facilitated the development of writing
assistants that promise to significantly improve the quality and efficiency of
composition and communication. However, a barrier to effective assistance is
the lack of personalization in LLM outputs to the author's communication style
and specialized knowledge. In this paper, we address this challenge by
proposing PEARL, a retrieval-augmented LLM writing assistant personalized with
a generation-calibrated retriever. Our retriever is trained to select historic
user-authored documents for prompt augmentation, such that they are likely to
best personalize LLM generations for a user request. We propose two key
novelties for training our retriever: 1) A training data selection method that
identifies user requests likely to benefit from personalization and documents
that provide that benefit; and 2) A scale-calibrating KL-divergence objective
that ensures that our retriever closely tracks the benefit of a document for
personalized generation. We demonstrate the effectiveness of PEARL in
generating personalized workplace social media posts and Reddit comments.
Finally, we showcase the potential of a generation-calibrated retriever to
double as a performance predictor and further improve low-quality generations
via LLM chaining.