PersonaFeedback: Масштабный аннотированный человеком эталон для персонализации

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

June 15, 2025

Авторы: Meiling Tao, Chenghao Zhu, Dongyi Ding, Tiannan Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Аннотация

С быстрым улучшением общих возможностей языковых моделей (LLM), персонализация LLM, то есть создание систем LLM, способных генерировать персонализированные ответы или услуги, адаптированные к различным пользовательским персонам, становится все более важной исследовательской и инженерной задачей. Однако, в отличие от множества новых сложных тестов, выпускаемых для оценки общих/логических способностей, отсутствие качественных тестов для оценки персонализации LLM значительно затрудняет прогресс в этой области. Для решения этой проблемы мы представляем PersonaFeedback — новый тест, который напрямую оценивает способность LLM предоставлять персонализированные ответы на основе предопределенных пользовательских персон и запросов. В отличие от существующих тестов, которые требуют от моделей вывода неявных пользовательских персон из исторических взаимодействий, PersonaFeedback разделяет вывод персон и персонализацию, сосредотачиваясь на оценке способности модели генерировать ответы, адаптированные к явным персонам. PersonaFeedback состоит из 8298 тестовых случаев, аннотированных людьми, которые классифицируются на уровни легкий, средний и сложный в зависимости от контекстной сложности пользовательских персон и трудности в различении тонких различий между двумя персонализированными ответами. Мы проводим всесторонние оценки для широкого спектра моделей. Эмпирические результаты показывают, что даже передовые LLM, способные решать сложные задачи реального мира, могут не справляться с сложным уровнем PersonaFeedback, где даже человеческие оценщики могут находить различия трудными. Кроме того, мы проводим углубленный анализ типов ошибок в различных системах, демонстрируя, что текущая структура, усиленная поиском, не должна рассматриваться как де-факто решение для задач персонализации. Все данные теста, протоколы аннотации и процесс оценки будут общедоступны для облегчения будущих исследований в области персонализации LLM.

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.