Gestaltung eines Dashboards für Transparenz und Kontrolle von Konversations-KI.

papers.abstract

Konversationelle LLMs funktionieren als Black-Box-Systeme und lassen die Benutzer im Unklaren darüber, warum sie die Ausgabe sehen, die sie sehen. Diese mangelnde Transparenz ist potenziell problematisch, insbesondere vor dem Hintergrund von Bedenken hinsichtlich Voreingenommenheit und Wahrhaftigkeit. Um dieses Problem anzugehen, präsentieren wir einen End-to-End-Prototyp, der Interpretierbarkeitstechniken mit dem Design der Benutzererfahrung verbindet und darauf abzielt, Chatbots transparenter zu gestalten. Wir beginnen damit, Belege dafür vorzulegen, dass ein bekannter Open-Source-LLM ein "Benutzermodell" hat: Durch die Untersuchung des internen Zustands des Systems können wir Daten zu Alter, Geschlecht, Bildungsniveau und sozialem Status eines Benutzers extrahieren. Anschließend beschreiben wir das Design eines Dashboards, das die Chatbot-Benutzeroberfläche begleitet und dieses Benutzermodell in Echtzeit anzeigt. Das Dashboard kann auch verwendet werden, um das Benutzermodell und das Verhalten des Systems zu steuern. Abschließend diskutieren wir eine Studie, in der Benutzer mit dem instrumentierten System interagierten. Unsere Ergebnisse legen nahe, dass Benutzer es schätzen, interne Zustände zu sehen, was ihnen half, voreingenommenes Verhalten aufzudecken und ihr Kontrollgefühl zu steigern. Die Teilnehmer machten auch wertvolle Vorschläge, die auf zukünftige Richtungen sowohl für das Design als auch für die maschinelle Lernforschung hinweisen. Die Projektseite und das Video-Demo unseres TalkTuner-Systems sind verfügbar unter https://bit.ly/talktuner-project-page

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page

Gestaltung eines Dashboards für Transparenz und Kontrolle von Konversations-KI.

Designing a Dashboard for Transparency and Control of Conversational AI

papers.abstract

Support