¡SynthesizeMe! Inducción de indicaciones guiadas por personalidad para modelos de recompensa personalizados en LLMs

SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs

June 5, 2025

Autores: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang

cs.AI

Resumen

Los recientes llamados a la alineación pluralística de los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) fomentan la adaptación de los modelos a las preferencias diversas de los usuarios. Sin embargo, la mayoría de los trabajos previos sobre modelos de recompensa personalizados dependen en gran medida de información adicional de identidad, como detalles demográficos o un conjunto predefinido de categorías de preferencias. Con este fin, presentamos SynthesizeMe, un enfoque para inducir personajes sintéticos de usuarios a partir de interacciones de los usuarios para el modelado de recompensas personalizadas. SynthesizeMe primero genera y verifica razonamientos para explicar las preferencias del usuario, luego induce personajes sintéticos de usuarios a partir de ese razonamiento y, finalmente, filtra las interacciones previas informativas de los usuarios para construir indicaciones personalizadas para un usuario en particular. Demostramos que el uso de indicaciones inducidas por SynthesizeMe mejora la precisión de los LLMs como jueces personalizados en un 4.4% en Chatbot Arena. La combinación de indicaciones derivadas de SynthesizeMe con un modelo de recompensa logra el mejor rendimiento en PersonalRewardBench: una nueva recopilación de interacciones estratificadas por usuarios con chatbots, recolectadas de 854 usuarios de Chatbot Arena y PRISM.

English

Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.