Conception d'un tableau de bord pour la transparence et le contrôle des systèmes d'IA conversationnelle

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

papers.authors: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

papers.abstract

Les modèles de langage conversationnels (LLM) fonctionnent comme des systèmes boîte noire, laissant les utilisateurs dans l'incertitude quant aux raisons des réponses qu'ils reçoivent. Ce manque de transparence est potentiellement problématique, notamment en raison des préoccupations liées aux biais et à la véracité. Pour résoudre ce problème, nous présentons un prototype de bout en bout qui associe des techniques d'interprétabilité à la conception de l'expérience utilisateur, visant à rendre les chatbots plus transparents. Nous commençons par montrer qu'un LLM open-source de premier plan possède un "modèle utilisateur" : en examinant l'état interne du système, nous pouvons extraire des données liées à l'âge, au genre, au niveau d'éducation et au statut socio-économique de l'utilisateur. Ensuite, nous décrivons la conception d'un tableau de bord accompagnant l'interface du chatbot, affichant ce modèle utilisateur en temps réel. Ce tableau de bord permet également de contrôler le modèle utilisateur et le comportement du système. Enfin, nous discutons d'une étude dans laquelle les utilisateurs ont conversé avec le système instrumenté. Nos résultats suggèrent que les utilisateurs apprécient de voir les états internes, ce qui les a aidés à identifier des comportements biaisés et a renforcé leur sentiment de contrôle. Les participants ont également formulé des suggestions précieuses, ouvrant des perspectives futures pour la conception et la recherche en apprentissage automatique. La page du projet et une démonstration vidéo de notre système TalkTuner sont disponibles à l'adresse https://bit.ly/talktuner-project-page.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page