PEARL: 生成校正型検索器を用いた大規模言語モデルライティングアシスタントのパーソナライズ

PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

November 15, 2023

著者: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi

cs.AI

要旨

強力な大規模言語モデル（LLM）の発展により、文章作成とコミュニケーションの質と効率を大幅に向上させることを約束するライティングアシスタントの開発が進んでいます。しかし、効果的な支援を阻む要因として、LLMの出力が著者のコミュニケーションスタイルや専門知識に合わせてパーソナライズされていないことが挙げられます。本論文では、この課題に対処するため、生成キャリブレーションされた検索器を備えたパーソナライズドLLMライティングアシスタント「PEARL」を提案します。私たちの検索器は、ユーザーのリクエストに対して最もパーソナライズされたLLM生成を可能にするために、過去のユーザー作成文書を選択するように訓練されています。検索器の訓練において、以下の2つの重要な新規性を提案します：1）パーソナライゼーションの恩恵を受ける可能性が高いユーザーリクエストと、その恩恵を提供する文書を特定する訓練データ選択方法、および2）文書がパーソナライズド生成に与える恩恵を密接に追跡するスケールキャリブレーションされたKLダイバージェンス目的関数。PEARLの有効性を、職場向けソーシャルメディア投稿とRedditコメントのパーソナライズド生成において実証します。最後に、生成キャリブレーションされた検索器が性能予測器としても機能し、LLMチェーンを通じて低品質な生成をさらに改善する可能性を示します。

English

Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.