PersonaFeedback: Un Benchmark Su Ampia Scala Annotato da Umani per la Personalizzazione

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

June 15, 2025

Autori: Meiling Tao, Chenghao Zhu, Dongyi Ding, Tiannan Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Abstract

Con il rapido miglioramento delle capacità generali degli LLM, la personalizzazione degli LLM, ovvero come costruire sistemi LLM in grado di generare risposte o servizi personalizzati adatti a distinti profili utente, è diventata un problema di ricerca e ingegneria sempre più importante. Tuttavia, a differenza di molti nuovi benchmark impegnativi rilasciati per valutare le capacità generali/di ragionamento, la mancanza di benchmark di alta qualità per valutare la personalizzazione degli LLM ostacola notevolmente i progressi in questo campo. Per affrontare questo problema, introduciamo PersonaFeedback, un nuovo benchmark che valuta direttamente la capacità degli LLM di fornire risposte personalizzate date specifiche persone utente e query predefinite. A differenza dei benchmark esistenti che richiedono ai modelli di dedurre persone utente implicite da interazioni storiche, PersonaFeedback separa l'inferenza della persona dalla personalizzazione, concentrandosi sulla valutazione della capacità del modello di generare risposte adattate a persone esplicite. PersonaFeedback è composto da 8298 casi di test annotati manualmente, classificati in livelli facile, medio e difficile in base alla complessità contestuale delle persone utente e alla difficoltà nel distinguere sottili differenze tra due risposte personalizzate. Eseguiamo valutazioni complete su un'ampia gamma di modelli. I risultati empirici rivelano che anche gli LLM all'avanguardia in grado di risolvere complessi compiti di ragionamento nel mondo reale potrebbero non raggiungere il livello difficile di PersonaFeedback, dove persino i valutatori umani potrebbero trovare le distinzioni impegnative. Inoltre, conduciamo un'analisi approfondita delle modalità di fallimento tra vari tipi di sistemi, dimostrando che l'attuale framework potenziato dal recupero delle informazioni non dovrebbe essere considerato una soluzione di fatto per i compiti di personalizzazione. Tutti i dati del benchmark, i protocolli di annotazione e la pipeline di valutazione saranno resi pubblicamente disponibili per facilitare la ricerca futura sulla personalizzazione degli LLM.

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.