PersonaFeedback: Un Punto de Referencia a Gran Escala Anotado por Humanos para la Personalización

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

June 15, 2025

Autores: Meiling Tao, Chenghao Zhu, Dongyi Ding, Tiannan Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Resumen

Con la rápida mejora en las capacidades generales de los LLM (Modelos de Lenguaje de Gran Escala), la personalización de los LLM, es decir, cómo construir sistemas de LLM que puedan generar respuestas o servicios personalizados adaptados a distintas personalidades de usuario, se ha convertido en un problema de investigación e ingeniería cada vez más importante. Sin embargo, a diferencia de los numerosos y desafiantes puntos de referencia que se están publicando para evaluar las capacidades generales/de razonamiento, la falta de puntos de referencia de alta calidad para evaluar la personalización de los LLM dificulta enormemente el avance en este campo. Para abordar esto, presentamos PersonaFeedback, un nuevo punto de referencia que evalúa directamente la capacidad de los LLM para proporcionar respuestas personalizadas dadas personalidades de usuario y consultas predefinidas. A diferencia de los puntos de referencia existentes que requieren que los modelos infieran personalidades de usuario implícitas a partir de interacciones históricas, PersonaFeedback desacopla la inferencia de personalidad de la personalización, centrándose en evaluar la capacidad del modelo para generar respuestas adaptadas a personalidades explícitas. PersonaFeedback consta de 8298 casos de prueba anotados por humanos, que se clasifican en niveles fáciles, medios y difíciles según la complejidad contextual de las personalidades de usuario y la dificultad para distinguir diferencias sutiles entre dos respuestas personalizadas. Realizamos evaluaciones exhaustivas en una amplia gama de modelos. Los resultados empíricos revelan que incluso los LLM de última generación que pueden resolver tareas complejas de razonamiento del mundo real podrían fallar en el nivel difícil de PersonaFeedback, donde incluso los evaluadores humanos podrían encontrar las distinciones desafiantes. Además, llevamos a cabo un análisis en profundidad de los modos de fallo en varios tipos de sistemas, demostrando que el marco actual de aumento de recuperación no debe verse como una solución de facto para las tareas de personalización. Todos los datos del punto de referencia, los protocolos de anotación y la canalización de evaluación estarán disponibles públicamente para facilitar futuras investigaciones sobre la personalización de los LLM.

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.