公正性はプロンプトで実現できるか？高利害関係の推薦システムにおけるプロンプトに基づくバイアス除去戦略

要旨

大規模言語モデル（LLM）は、名前や代名詞などの間接的な手がかりから性別や年齢などの機密属性を推論し、推薦結果にバイアスをもたらす可能性がある。既存の複数の脱バイアス手法は、LLMの重みへのアクセスを必要とし、計算コストが高く、一般ユーザーが利用できない。この課題を解決するため、我々はLLM推薦システム（LLMRecs）における暗黙的バイアスを調査し、プロンプトベースの戦略が軽量かつ使いやすい脱バイアス手法として機能し得るかどうかを探る。本論文では、LLMRecs向けに3つのバイアス対応プロンプト戦略を提案する。知る限り、ユーザーの集団公平性に焦点を当てたLLMRecsにおけるプロンプトベース脱バイアス手法の研究は本研究が初めてである。3つのLLM、4つのプロンプトテンプレート、9つの機密属性値、2つのデータセットを用いた実験により、LLMに公平性を指示する提案手法が、同等の有効性を維持しつつ公平性を最大74%向上させ得る一方、場合によっては特定の人口統計グループを過剰に促進する可能性があることが示された。

English

Large Language Models (LLMs) can infer sensitive attributes such as gender or age from indirect cues like names and pronouns, potentially biasing recommendations. While several debiasing methods exist, they require access to the LLMs' weights, are computationally costly, and cannot be used by lay users. To address this gap, we investigate implicit biases in LLM Recommenders (LLMRecs) and explore whether prompt-based strategies can serve as a lightweight and easy-to-use debiasing approach. We contribute three bias-aware prompting strategies for LLMRecs. To our knowledge, this is the first study on prompt-based debiasing approaches in LLMRecs that focuses on group fairness for users. Our experiments with 3 LLMs, 4 prompt templates, 9 sensitive attribute values, and 2 datasets show that our proposed debiasing approach, which instructs an LLM to be fair, can improve fairness by up to 74% while retaining comparable effectiveness, but might overpromote specific demographic groups in some cases.

公正性はプロンプトで実現できるか？高利害関係の推薦システムにおけるプロンプトに基づくバイアス除去戦略

Can Fairness Be Prompted? Prompt-Based Debiasing Strategies in High-Stakes Recommendations

要旨

Support