PersonaFeedback: パーソナライゼーションのための大規模人間注釈ベンチマーク

要旨

LLMの汎用的な能力が急速に向上する中、LLMのパーソナライゼーション、すなわち、異なるユーザーペルソナに合わせてパーソナライズされた応答やサービスを生成するLLMシステムを構築する方法が、ますます重要な研究およびエンジニアリング上の課題となっている。しかし、汎用的/推論能力を評価するための新しい挑戦的なベンチマークが数多くリリースされているのに対し、LLMのパーソナライゼーションを評価するための高品質なベンチマークの欠如が、この分野の進展を大きく妨げている。この問題に対処するため、我々はPersonaFeedbackという新しいベンチマークを導入する。これは、事前に定義されたユーザーペルソナとクエリを与えられた場合に、LLMがパーソナライズされた応答を提供する能力を直接評価するものである。既存のベンチマークが、モデルに過去のインタラクションから暗黙的なユーザーペルソナを推論させることを要求するのに対し、PersonaFeedbackは、ペルソナ推論とパーソナライゼーションを分離し、明示的なペルソナに合わせた応答を生成するモデルの能力に焦点を当てている。PersonaFeedbackは、8298の人間によるアノテーションが施されたテストケースで構成されており、ユーザーペルソナの文脈的複雑さと、2つのパーソナライズされた応答の微妙な違いを識別する難易度に基づいて、容易、中程度、困難の3つの階層に分類されている。我々は、幅広いモデルに対して包括的な評価を実施し、複雑な現実世界の推論タスクを解決できる最先端のLLMでさえ、人間の評価者でさえ区別が難しいと感じるPersonaFeedbackの困難な階層では不十分であることを明らかにした。さらに、さまざまなタイプのシステムにおける失敗モードの詳細な分析を行い、現在の検索拡張フレームワークがパーソナライゼーションタスクに対する事実上の解決策と見なすべきではないことを示した。すべてのベンチマークデータ、アノテーションプロトコル、および評価パイプラインは、将来のLLMパーソナライゼーション研究を促進するために公開される予定である。

English

With the rapid improvement in the general capabilities of LLMs, LLM personalization, i.e., how to build LLM systems that can generate personalized responses or services that are tailored to distinct user personas, has become an increasingly important research and engineering problem. However, unlike many new challenging benchmarks being released for evaluating the general/reasoning capabilities, the lack of high-quality benchmarks for evaluating LLM personalization greatly hinders progress in this field. To address this, we introduce PersonaFeedback, a new benchmark that directly evaluates LLMs' ability to provide personalized responses given pre-defined user personas and queries. Unlike existing benchmarks that require models to infer implicit user personas from historical interactions, PersonaFeedback decouples persona inference from personalization, focusing on evaluating the model's ability to generate responses tailored to explicit personas. PersonaFeedback consists of 8298 human-annotated test cases, which are categorized into easy, medium, and hard tiers based on the contextual complexity of the user personas and the difficulty in distinguishing subtle differences between two personalized responses. We conduct comprehensive evaluations across a wide range of models. The empirical results reveal that even state-of-the-art LLMs that can solve complex real-world reasoning tasks could fall short on the hard tier of PersonaFeedback where even human evaluators may find the distinctions challenging. Furthermore, we conduct an in-depth analysis of failure modes across various types of systems, demonstrating that the current retrieval-augmented framework should not be seen as a de facto solution for personalization tasks. All benchmark data, annotation protocols, and the evaluation pipeline will be publicly available to facilitate future research on LLM personalization.

PersonaFeedback: パーソナライゼーションのための大規模人間注釈ベンチマーク

PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization

要旨

Support