Het Ontwerpen van een Dashboard voor Transparantie en Beheer van Conversational AI

Samenvatting

Conversationele LLM's functioneren als blackbox-systemen, waardoor gebruikers moeten gissen naar de redenen achter de output die ze zien. Dit gebrek aan transparantie is potentieel problematisch, vooral gezorgen over bias en waarheidsgetrouwheid. Om dit probleem aan te pakken, presenteren we een end-to-end prototype dat interpreteerbaarheidstechnieken verbindt met user experience design, met als doel chatbots transparanter te maken. We beginnen met het tonen van bewijs dat een prominent open-source LLM een "gebruikersmodel" heeft: door de interne staat van het systeem te onderzoeken, kunnen we gegevens extraheren die verband houden met de leeftijd, het geslacht, het opleidingsniveau en de sociaaleconomische status van een gebruiker. Vervolgens beschrijven we het ontwerp van een dashboard dat het chatbot-interface begeleidt en dit gebruikersmodel in realtime weergeeft. Het dashboard kan ook worden gebruikt om het gebruikersmodel en het gedrag van het systeem te beheren. Tot slot bespreken we een studie waarin gebruikers met het geïnstrumenteerde systeem converseerden. Onze resultaten suggereren dat gebruikers het waarderen om interne staten te zien, wat hen hielp bevooroordeeld gedrag bloot te leggen en hun gevoel van controle vergrootte. Deelnemers deden ook waardevolle suggesties die wijzen op toekomstige richtingen voor zowel ontwerp- als machine learning-onderzoek. De projectpagina en videodemo van ons TalkTuner-systeem zijn beschikbaar op https://bit.ly/talktuner-project-page.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page

Het Ontwerpen van een Dashboard voor Transparantie en Beheer van Conversational AI

Designing a Dashboard for Transparency and Control of Conversational AI

Samenvatting

Support