PersonaFeedback: Um Benchmark em Grande Escala Anotado por Humanos para Personalização

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

June 15, 2025

Autores: Meiling Tao, Chenghao Zhu, Dongyi Ding, Tiannan Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Resumo

Com o rápido aprimoramento das capacidades gerais dos LLMs (Large Language Models), a personalização de LLMs, ou seja, como construir sistemas de LLMs que possam gerar respostas ou serviços personalizados adaptados a distintas personas de usuários, tornou-se um problema de pesquisa e engenharia cada vez mais importante. No entanto, ao contrário de muitos novos benchmarks desafiadores que estão sendo lançados para avaliar as capacidades gerais/de raciocínio, a falta de benchmarks de alta qualidade para avaliar a personalização de LLMs dificulta bastante o progresso nesse campo. Para abordar isso, introduzimos o PersonaFeedback, um novo benchmark que avalia diretamente a capacidade dos LLMs de fornecer respostas personalizadas dadas personas de usuários e consultas predefinidas. Diferente dos benchmarks existentes que exigem que os modelos infiram personas implícitas de interações históricas, o PersonaFeedback desacopla a inferência de personas da personalização, focando em avaliar a capacidade do modelo de gerar respostas adaptadas a personas explícitas. O PersonaFeedback consiste em 8298 casos de teste anotados por humanos, que são categorizados em níveis fácil, médio e difícil com base na complexidade contextual das personas de usuários e na dificuldade de distinguir diferenças sutis entre duas respostas personalizadas. Realizamos avaliações abrangentes em uma ampla gama de modelos. Os resultados empíricos revelam que mesmo LLMs de última geração que podem resolver tarefas complexas de raciocínio do mundo real podem falhar no nível difícil do PersonaFeedback, onde até avaliadores humanos podem achar as distinções desafiadoras. Além disso, conduzimos uma análise detalhada dos modos de falha em vários tipos de sistemas, demonstrando que o framework atual de aumento por recuperação não deve ser visto como uma solução de fato para tarefas de personalização. Todos os dados do benchmark, protocolos de anotação e o pipeline de avaliação estarão publicamente disponíveis para facilitar pesquisas futuras sobre personalização de LLMs.

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.