Diseño de un Panel de Control para la Transparencia y Gestión de la Inteligencia Artificial Conversacional

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

Autores: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

Resumen

Los modelos de lenguaje conversacionales (LLMs) funcionan como sistemas de caja negra, dejando a los usuarios adivinando por qué obtienen las respuestas que ven. Esta falta de transparencia es potencialmente problemática, especialmente considerando las preocupaciones en torno al sesgo y la veracidad. Para abordar este problema, presentamos un prototipo integral que conecta técnicas de interpretabilidad con el diseño de experiencia de usuario, con el objetivo de hacer que los chatbots sean más transparentes. Comenzamos mostrando evidencia de que un destacado LLM de código abierto tiene un "modelo de usuario": al examinar el estado interno del sistema, podemos extraer datos relacionados con la edad, género, nivel educativo y estatus socioeconómico de un usuario. A continuación, describimos el diseño de un panel que acompaña a la interfaz del chatbot, mostrando este modelo de usuario en tiempo real. El panel también puede usarse para controlar el modelo de usuario y el comportamiento del sistema. Finalmente, discutimos un estudio en el que los usuarios conversaron con el sistema instrumentado. Nuestros resultados sugieren que los usuarios aprecian ver los estados internos, lo que les ayudó a exponer comportamientos sesgados y aumentó su sensación de control. Los participantes también hicieron sugerencias valiosas que apuntan a futuras direcciones tanto para el diseño como para la investigación en aprendizaje automático. La página del proyecto y la demostración en video de nuestro sistema TalkTuner están disponibles en https://bit.ly/talktuner-project-page.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page