再生のためのリソース：生成言語モデルとの対話

Recourse for reclamation: Chatting with generative language models

March 21, 2024

著者: Jennifer Chien, Kevin R. McKee, Jackie Kay, William Isaac

cs.AI

要旨

研究者や開発者は、カスタマーサービス、情報検索、コンテンツ生成などの場面で、生成言語モデルの出力を調整するために毒性スコアリングをますます活用しています。しかし、毒性スコアリングは、関連する情報にアクセスできなくしたり、文化的規範を固定化または「価値固定化」したり、特にマイノリティの人々にとっての言語の再獲得プロセスを妨げたりする可能性があります。本研究では、アルゴリズム的リコースの概念を生成言語モデルに拡張します。ユーザーが毒性フィルタリングの閾値を動的に設定することで、望む予測を達成するための新たなメカニズムを提供します。これにより、ユーザーはベースラインシステムとの相互作用に比べて、より大きな主体性を発揮できます。パイロットスタディ（n = 30）では、提案されたリコースメカニズムの可能性が支持され、固定閾値の毒性フィルタリングと比較してユーザビリティの向上が示されました。今後の研究では、毒性スコアリング、モデルの制御性、ユーザーの主体性、言語の再獲得プロセスの交差点、特に多くのコミュニティが生成言語モデルと相互作用する際に直面するバイアスについて探求すべきです。

English

Researchers and developers increasingly rely on toxicity scoring to moderate generative language model outputs, in settings such as customer service, information retrieval, and content generation. However, toxicity scoring may render pertinent information inaccessible, rigidify or "value-lock" cultural norms, and prevent language reclamation processes, particularly for marginalized people. In this work, we extend the concept of algorithmic recourse to generative language models: we provide users a novel mechanism to achieve their desired prediction by dynamically setting thresholds for toxicity filtering. Users thereby exercise increased agency relative to interactions with the baseline system. A pilot study (n = 30) supports the potential of our proposed recourse mechanism, indicating improvements in usability compared to fixed-threshold toxicity-filtering of model outputs. Future work should explore the intersection of toxicity scoring, model controllability, user agency, and language reclamation processes -- particularly with regard to the bias that many communities encounter when interacting with generative language models.