PEARL: Персонализация помощников для написания текстов на основе больших языковых моделей с использованием генерационно-калиброванных извлекателей

PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

November 15, 2023

Авторы: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi

cs.AI

Аннотация

Мощные большие языковые модели способствовали развитию помощников для письма, которые обещают значительно повысить качество и эффективность составления текстов и коммуникации. Однако препятствием для эффективной помощи является отсутствие персонализации выходных данных языковых моделей под стиль общения автора и его специализированные знания. В данной статье мы решаем эту проблему, предлагая PEARL — персонализированного помощника для письма на основе языковой модели, усиленной механизмом извлечения, калиброванным на генерацию. Наш механизм извлечения обучается выбирать исторические документы, написанные пользователем, для дополнения запросов таким образом, чтобы они с наибольшей вероятностью персонализировали генерацию языковой модели под запрос пользователя. Мы предлагаем два ключевых новшества для обучения нашего механизма извлечения: 1) Метод выбора обучающих данных, который идентифицирует запросы пользователя, которые могут выиграть от персонализации, и документы, обеспечивающие эту выгоду; и 2) Целевую функцию на основе масштабно-калиброванной дивергенции Кульбака-Лейблера, которая гарантирует, что наш механизм извлечения точно отслеживает полезность документа для персонализированной генерации. Мы демонстрируем эффективность PEARL в генерации персонализированных постов для рабочих социальных сетей и комментариев на Reddit. Наконец, мы показываем потенциал механизма извлечения, калиброванного на генерацию, в качестве предсказателя производительности и дальнейшего улучшения низкокачественных генераций с помощью цепочки языковых моделей.

English

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.