PEARL: Personalizando Assistentes de Escrita com Modelos de Linguagem de Grande Escala Usando Recuperadores Calibrados para Geração

PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

November 15, 2023

Autores: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi

cs.AI

Resumo

Modelos de linguagem grandes e poderosos têm facilitado o desenvolvimento de assistentes de escrita que prometem melhorar significativamente a qualidade e a eficiência da composição e da comunicação. No entanto, uma barreira para uma assistência eficaz é a falta de personalização nas saídas dos LLMs para o estilo de comunicação e o conhecimento especializado do autor. Neste artigo, abordamos esse desafio propondo o PEARL, um assistente de escrita baseado em LLM aumentado por recuperação e personalizado com um recuperador calibrado para geração. Nosso recuperador é treinado para selecionar documentos históricos escritos pelo usuário para aumentar o prompt, de forma que sejam mais propensos a personalizar as gerações do LLM para uma solicitação do usuário. Propomos duas inovações principais para o treinamento do nosso recuperador: 1) Um método de seleção de dados de treinamento que identifica solicitações do usuário que provavelmente se beneficiarão da personalização e documentos que fornecem esse benefício; e 2) Um objetivo de divergência KL com calibração de escala que garante que nosso recuperador acompanhe de perto o benefício de um documento para a geração personalizada. Demonstramos a eficácia do PEARL na geração de posts personalizados para mídias sociais no local de trabalho e comentários no Reddit. Por fim, mostramos o potencial de um recuperador calibrado para geração de atuar também como um preditor de desempenho e melhorar ainda mais gerações de baixa qualidade por meio de encadeamento de LLMs.

English

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.