SynthesizeMe! Het induceren van persona-gestuurde prompts voor gepersonaliseerde beloningsmodellen in LLM's

SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs

June 5, 2025

Auteurs: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang

cs.AI

Samenvatting

Recente oproepen voor pluralistische afstemming van Large Language Models (LLMs) moedigen het aanpassen van modellen aan diverse gebruikersvoorkeuren aan. Het meeste eerdere werk over gepersonaliseerde beloningsmodellen is echter sterk afhankelijk van aanvullende identiteitsinformatie, zoals demografische details of een vooraf gedefinieerde set voorkeurscategorieën. Daarom introduceren wij SynthesizeMe, een benadering om synthetische gebruikerspersona's af te leiden uit gebruikersinteracties voor gepersonaliseerde beloningsmodellering. SynthesizeMe genereert en verifieert eerst redeneringen om gebruikersvoorkeuren te verklaren, leidt vervolgens synthetische gebruikerspersona's af uit die redeneringen, en filtert ten slotte naar informatieve eerdere gebruikersinteracties om gepersonaliseerde prompts voor een specifieke gebruiker te bouwen. Wij tonen aan dat het gebruik van door SynthesizeMe gegenereerde prompts de nauwkeurigheid van gepersonaliseerde LLM-as-a-judge met 4,4% verbetert op Chatbot Arena. Het combineren van door SynthesizeMe afgeleide prompts met een beloningsmodel behaalt de beste prestaties op PersonalRewardBench: een nieuwe curatie van gebruikersgestratificeerde interacties met chatbots, verzameld van 854 gebruikers van Chatbot Arena en PRISM.

English

Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.