PEARL: Personalización de Asistentes de Escritura Basados en Modelos de Lenguaje de Gran Escala con Recuperadores Calibrados para Generación
PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers
November 15, 2023
Autores: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi
cs.AI
Resumen
Los potentes modelos de lenguaje de gran escala han facilitado el desarrollo de asistentes de escritura que prometen mejorar significativamente la calidad y eficiencia de la composición y comunicación. Sin embargo, un obstáculo para una asistencia efectiva es la falta de personalización en las salidas de los LLM para adaptarse al estilo de comunicación y al conocimiento especializado del autor. En este artículo, abordamos este desafío proponiendo PEARL, un asistente de escritura basado en LLM aumentado con recuperación y personalizado mediante un recuperador calibrado para generación. Nuestro recuperador está entrenado para seleccionar documentos históricos escritos por el usuario y aumentar las indicaciones, de modo que sea más probable que personalicen las generaciones del LLM para una solicitud del usuario. Proponemos dos novedades clave para entrenar nuestro recuperador: 1) Un método de selección de datos de entrenamiento que identifica solicitudes de usuario que probablemente se beneficien de la personalización y documentos que proporcionan ese beneficio; y 2) Un objetivo de divergencia KL con calibración de escala que asegura que nuestro recuperador siga de cerca el beneficio de un documento para la generación personalizada. Demostramos la efectividad de PEARL en la generación de publicaciones personalizadas en redes sociales laborales y comentarios en Reddit. Finalmente, mostramos el potencial de un recuperador calibrado para generación para funcionar también como predictor de rendimiento y mejorar aún más las generaciones de baja calidad mediante encadenamiento de LLM.
English
Powerful large language models have facilitated the development of writing
assistants that promise to significantly improve the quality and efficiency of
composition and communication. However, a barrier to effective assistance is
the lack of personalization in LLM outputs to the author's communication style
and specialized knowledge. In this paper, we address this challenge by
proposing PEARL, a retrieval-augmented LLM writing assistant personalized with
a generation-calibrated retriever. Our retriever is trained to select historic
user-authored documents for prompt augmentation, such that they are likely to
best personalize LLM generations for a user request. We propose two key
novelties for training our retriever: 1) A training data selection method that
identifies user requests likely to benefit from personalization and documents
that provide that benefit; and 2) A scale-calibrating KL-divergence objective
that ensures that our retriever closely tracks the benefit of a document for
personalized generation. We demonstrate the effectiveness of PEARL in
generating personalized workplace social media posts and Reddit comments.
Finally, we showcase the potential of a generation-calibrated retriever to
double as a performance predictor and further improve low-quality generations
via LLM chaining.