SynthesizeMe! Генерация персонализированных подсказок для создания персонализированных моделей вознаграждения в крупных языковых моделях
SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs
June 5, 2025
Авторы: Michael J Ryan, Omar Shaikh, Aditri Bhagirath, Daniel Frees, William Held, Diyi Yang
cs.AI
Аннотация
Недавние призывы к плюралистической настройке больших языковых моделей (LLM) подчеркивают необходимость адаптации моделей к разнообразным предпочтениям пользователей. Однако большинство предыдущих работ по персонализированным моделям вознаграждения в значительной степени опираются на дополнительную информацию о пользователях, такую как демографические данные или заранее определенный набор категорий предпочтений. В связи с этим мы представляем SynthesizeMe — подход к созданию синтетических пользовательских персонажей на основе взаимодействий пользователей для персонализированного моделирования вознаграждения. SynthesizeMe сначала генерирует и проверяет рассуждения, объясняющие предпочтения пользователей, затем создает синтетические персонажи на основе этих рассуждений и, наконец, фильтрует информативные предыдущие взаимодействия пользователей для создания персонализированных промптов для конкретного пользователя. Мы показываем, что использование промптов, созданных с помощью SynthesizeMe, повышает точность персонализированной оценки LLM в качестве судьи на 4,4% в Chatbot Arena. Комбинирование промптов, полученных с помощью SynthesizeMe, с моделью вознаграждения позволяет достичь наивысшей производительности на PersonalRewardBench — новом наборе данных, включающем стратифицированные по пользователям взаимодействия с чат-ботами, собранные от 854 пользователей Chatbot Arena и PRISM.
English
Recent calls for pluralistic alignment of Large Language Models (LLMs)
encourage adapting models to diverse user preferences. However, most prior work
on personalized reward models heavily rely on additional identity information,
such as demographic details or a predefined set of preference categories. To
this end, we introduce SynthesizeMe, an approach to inducing synthetic user
personas from user interactions for personalized reward modeling. SynthesizeMe
first generates and verifies reasoning to explain user preferences, then
induces synthetic user personas from that reasoning, and finally filters to
informative prior user interactions in order to build personalized prompts for
a particular user. We show that using SynthesizeMe induced prompts improves
personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining
SynthesizeMe derived prompts with a reward model achieves top performance on
PersonalRewardBench: a new curation of user-stratified interactions with
chatbots collected from 854 users of Chatbot Arena and PRISM.