会話型AIの透明性と制御のためのダッシュボード設計

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

著者: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

要旨

会話型LLMはブラックボックスシステムとして機能し、ユーザーはなぜそのような出力が得られるのかを推測するしかない。この透明性の欠如は、特にバイアスや真実性に関する懸念を考えると、潜在的に問題がある。この問題に対処するため、我々は解釈可能性技術とユーザーエクスペリエンスデザインを結びつけたエンドツーエンドのプロトタイプを提示し、チャットボットの透明性を高めることを目指す。まず、著名なオープンソースLLMが「ユーザーモデル」を持っていることを示す証拠を提示する。システムの内部状態を調べることで、ユーザーの年齢、性別、教育レベル、社会経済的地位に関連するデータを抽出できる。次に、チャットボットインターフェースに付随するダッシュボードの設計について説明する。このダッシュボードは、ユーザーモデルをリアルタイムで表示し、ユーザーモデルとシステムの動作を制御するためにも使用できる。最後に、ユーザーが計装されたシステムと会話した研究について議論する。結果は、ユーザーが内部状態を見ることを高く評価し、それがバイアス行動を明らかにし、コントロール感を高めるのに役立ったことを示唆している。参加者からは、デザインと機械学習研究の両方の将来の方向性を示す貴重な提案も得られた。我々のTalkTunerシステムのプロジェクトページとビデオデモは、https://bit.ly/talktuner-project-page で閲覧可能である。

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page