SynthesizeMe! Induzione di prompt guidati dalla personalità per modelli di ricompensa personalizzati nei LLM

SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs

June 5, 2025

Autori: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang

cs.AI

Abstract

Le recenti richieste di un allineamento pluralistico dei Large Language Model (LLM) incoraggiano l'adattamento dei modelli alle diverse preferenze degli utenti. Tuttavia, la maggior parte del lavoro precedente sui modelli di ricompensa personalizzati si basa pesantemente su informazioni aggiuntive relative all'identità, come dettagli demografici o un insieme predefinito di categorie di preferenze. A tal fine, introduciamo SynthesizeMe, un approccio per indurre persone sintetiche dalle interazioni degli utenti per la modellazione delle ricompense personalizzate. SynthesizeMe genera e verifica prima il ragionamento per spiegare le preferenze degli utenti, poi induce persone sintetiche da quel ragionamento e infine filtra le interazioni precedenti informative per costruire prompt personalizzati per un determinato utente. Dimostriamo che l'uso dei prompt indotti da SynthesizeMe migliora l'accuratezza del giudizio personalizzato LLM-as-a-judge del 4,4% su Chatbot Arena. La combinazione dei prompt derivati da SynthesizeMe con un modello di ricompensa raggiunge le migliori prestazioni su PersonalRewardBench: una nuova raccolta di interazioni stratificate per utente con chatbot raccolte da 854 utenti di Chatbot Arena e PRISM.

English

Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.