SynthesizeMe! Induktion persona-gesteuerter Prompts für personalisierte Belohnungsmodelle in LLMs

SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs

June 5, 2025

Autoren: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang

cs.AI

Zusammenfassung

Jüngste Forderungen nach einer pluralistischen Ausrichtung von Large Language Models (LLMs) ermutigen dazu, Modelle an die vielfältigen Präferenzen der Nutzer anzupassen. Die meisten bisherigen Arbeiten zu personalisierten Belohnungsmodellen stützen sich jedoch stark auf zusätzliche Identitätsinformationen, wie demografische Details oder eine vordefinierte Menge von Präferenzkategorien. In diesem Zusammenhang stellen wir SynthesizeMe vor, einen Ansatz zur Erzeugung synthetischer Nutzerpersonas aus Nutzerinteraktionen für die personalisierte Belohnungsmodellierung. SynthesizeMe generiert und überprüft zunächst Begründungen, um Nutzerpräferenzen zu erklären, leitet dann synthetische Nutzerpersonas aus diesen Begründungen ab und filtert schließlich informative vorherige Nutzerinteraktionen, um personalisierte Prompts für einen bestimmten Nutzer zu erstellen. Wir zeigen, dass die Verwendung von durch SynthesizeMe erzeugten Prompts die Genauigkeit von personalisierten LLM-as-a-Judge um 4,4 % auf Chatbot Arena verbessert. Die Kombination von durch SynthesizeMe abgeleiteten Prompts mit einem Belohnungsmodell erzielt die beste Leistung auf PersonalRewardBench: einer neuen Zusammenstellung von nutzerschichtenspezifischen Interaktionen mit Chatbots, die von 854 Nutzern von Chatbot Arena und PRISM gesammelt wurden.

English

Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.