PersonaFeedback: Ein umfangreicher, von Menschen annotierter Benchmark für Personalisierung

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

June 15, 2025

Autoren: Meiling Tao, Chenghao Zhu, Dongyi Ding, Tiannan Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Zusammenfassung

Mit der raschen Verbesserung der allgemeinen Fähigkeiten von LLMs (Large Language Models) ist die Personalisierung von LLMs, d.h. die Frage, wie LLM-Systeme entwickelt werden können, die personalisierte Antworten oder Dienstleistungen generieren, die auf unterschiedliche Benutzerprofile zugeschnitten sind, zu einem zunehmend wichtigen Forschungs- und Ingenieursproblem geworden. Im Gegensatz zu vielen neuen, herausfordernden Benchmarks, die zur Bewertung der allgemeinen/argumentativen Fähigkeiten veröffentlicht werden, behindert der Mangel an hochwertigen Benchmarks zur Bewertung der LLM-Personalisierung jedoch erheblich den Fortschritt auf diesem Gebiet. Um dies zu beheben, stellen wir PersonaFeedback vor, einen neuen Benchmark, der direkt die Fähigkeit von LLMs bewertet, personalisierte Antworten auf der Grundlage vordefinierter Benutzerprofile und Anfragen zu liefern. Im Gegensatz zu bestehenden Benchmarks, die von den Modellen verlangen, implizite Benutzerprofile aus historischen Interaktionen abzuleiten, entkoppelt PersonaFeedback die Profilableitung von der Personalisierung und konzentriert sich auf die Bewertung der Fähigkeit des Modells, Antworten zu generieren, die auf explizite Profile zugeschnitten sind. PersonaFeedback besteht aus 8298 von Menschen annotierten Testfällen, die basierend auf der kontextuellen Komplexität der Benutzerprofile und der Schwierigkeit, subtile Unterschiede zwischen zwei personalisierten Antworten zu erkennen, in einfache, mittlere und schwierige Kategorien eingeteilt werden. Wir führen umfassende Bewertungen über eine breite Palette von Modellen durch. Die empirischen Ergebnisse zeigen, dass selbst state-of-the-art LLMs, die komplexe reale Denkaufgaben lösen können, bei der schwierigen Kategorie von PersonaFeedback scheitern können, bei der selbst menschliche Bewerter die Unterscheidungen als herausfordernd empfinden könnten. Darüber hinaus führen wir eine detaillierte Analyse der Fehlermodi über verschiedene Systemtypen hinweg durch und zeigen, dass das derzeitige retrieval-augmentierte Framework nicht als de-facto-Lösung für Personalisierungsaufgaben angesehen werden sollte. Alle Benchmark-Daten, Annotationsprotokolle und die Evaluationspipeline werden öffentlich zugänglich gemacht, um zukünftige Forschungen zur LLM-Personalisierung zu erleichtern.

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.