SynthesizeMe! パーソナライズされた報酬モデルのための人物像誘導型プロンプト生成
SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs
June 5, 2025
著者: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang
cs.AI
要旨
大規模言語モデル（LLMs）の多元的アラインメントに対する最近の要請は、モデルを多様なユーザー嗜好に適応させることを奨励しています。しかし、これまでのパーソナライズされた報酬モデルに関する研究の多くは、人口統計学的詳細や事前に定義された嗜好カテゴリなどの追加の識別情報に大きく依存しています。この目的のために、我々はSynthesizeMeを導入します。これは、ユーザーインタラクションから合成ユーザーペルソナを誘導し、パーソナライズされた報酬モデリングを行うアプローチです。SynthesizeMeはまず、ユーザーの嗜好を説明するための推論を生成し検証し、次にその推論から合成ユーザーペルソナを誘導し、最後に特定のユーザーに対するパーソナライズされたプロンプトを構築するために有益な過去のユーザーインタラクションをフィルタリングします。SynthesizeMeによって誘導されたプロンプトを使用することで、Chatbot ArenaにおけるパーソナライズされたLLM-as-a-judgeの精度が4.4%向上することを示します。SynthesizeMeから導出されたプロンプトと報酬モデルを組み合わせることで、PersonalRewardBenchにおいて最高のパフォーマンスを達成しました。PersonalRewardBenchは、Chatbot ArenaとPRISMの854人のユーザーから収集されたユーザー層別チャットボットインタラクションの新しいキュレーションです。
English
Recent calls for pluralistic alignment of Large Language Models (LLMs)
encourage adapting models to diverse user preferences. However, most prior work
on personalized reward models heavily rely on additional identity information,
such as demographic details or a predefined set of preference categories. To
this end, we introduce SynthesizeMe, an approach to inducing synthetic user
personas from user interactions for personalized reward modeling. SynthesizeMe
first generates and verifies reasoning to explain user preferences, then
induces synthetic user personas from that reasoning, and finally filters to
informative prior user interactions in order to build personalized prompts for
a particular user. We show that using SynthesizeMe induced prompts improves
personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining
SynthesizeMe derived prompts with a reward model achieves top performance on
PersonalRewardBench: a new curation of user-stratified interactions with
chatbots collected from 854 users of Chatbot Arena and PRISM.