대화형 AI의 투명성과 제어를 위한 대시보드 설계

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

저자: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

초록

대화형 LLM은 블랙박스 시스템으로 작동하여 사용자들은 왜 특정 출력을 보게 되는지 추측해야 합니다. 이러한 투명성의 부재는 편향성과 진실성에 대한 우려를 고려할 때 특히 문제가 될 수 있습니다. 이 문제를 해결하기 위해, 우리는 해석 가능성 기법과 사용자 경험 디자인을 연결한 종단 간 프로토타입을 제시하여 챗봇을 더 투명하게 만드는 것을 목표로 합니다. 먼저, 우리는 주요 오픈소스 LLM이 "사용자 모델"을 가지고 있다는 증거를 보여줍니다: 시스템의 내부 상태를 조사함으로써 사용자의 나이, 성별, 교육 수준, 사회경제적 지위와 관련된 데이터를 추출할 수 있습니다. 다음으로, 챗봇 인터페이스와 함께 제공되는 대시보드의 설계를 설명합니다. 이 대시보드는 실시간으로 이 사용자 모델을 표시하며, 사용자 모델과 시스템의 행동을 제어하는 데에도 사용될 수 있습니다. 마지막으로, 사용자들이 계측된 시스템과 대화한 연구에 대해 논의합니다. 우리의 결과는 사용자들이 내부 상태를 보는 것을 높이 평가하며, 이는 편향된 행동을 드러내고 통제감을 높이는 데 도움이 되었다는 것을 시사합니다. 참가자들은 또한 디자인과 머신 러닝 연구의 미래 방향을 제시하는 유용한 제안을 했습니다. 우리의 TalkTuner 시스템의 프로젝트 페이지와 데모 비디오는 https://bit.ly/talktuner-project-page에서 확인할 수 있습니다.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page