SynthesizeMe! Induzindo Prompts Guiados por Persona para Modelos de Recompensa Personalizados em LLMs

SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs

June 5, 2025

Autores: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang

cs.AI

Resumo

Chamadas recentes para o alinhamento pluralístico de Modelos de Linguagem de Grande Escala (LLMs) incentivam a adaptação dos modelos a diversas preferências dos usuários. No entanto, a maior parte do trabalho anterior sobre modelos de recompensa personalizados depende fortemente de informações adicionais de identidade, como detalhes demográficos ou um conjunto predefinido de categorias de preferências. Para isso, introduzimos o SynthesizeMe, uma abordagem para induzir personas sintéticas de usuários a partir de interações do usuário para modelagem de recompensa personalizada. O SynthesizeMe primeiro gera e verifica raciocínios para explicar as preferências do usuário, em seguida, induz personas sintéticas de usuários a partir desse raciocínio e, finalmente, filtra interações anteriores informativas do usuário para construir prompts personalizados para um usuário específico. Mostramos que o uso de prompts induzidos pelo SynthesizeMe melhora a precisão do LLM-como-juiz personalizado em 4,4% no Chatbot Arena. A combinação de prompts derivados do SynthesizeMe com um modelo de recompensa alcança o melhor desempenho no PersonalRewardBench: uma nova curadoria de interações estratificadas por usuário com chatbots coletadas de 854 usuários do Chatbot Arena e do PRISM.

English

Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.