Projetando um Painel para Transparência e Controle de IA Conversacional

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

Autores: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

Resumo

Os LLMs conversacionais funcionam como sistemas de caixa preta, deixando os usuários adivinhando por que veem a saída que recebem. Essa falta de transparência é potencialmente problemática, especialmente considerando as preocupações em torno de viés e veracidade. Para abordar essa questão, apresentamos um protótipo de ponta a ponta que conecta técnicas de interpretabilidade com design de experiência do usuário, visando tornar os chatbots mais transparentes. Começamos mostrando evidências de que um LLM de código aberto proeminente possui um "modelo de usuário": ao examinar o estado interno do sistema, podemos extrair dados relacionados à idade, gênero, nível educacional e status socioeconômico do usuário. Em seguida, descrevemos o design de um painel que acompanha a interface do chatbot, exibindo esse modelo de usuário em tempo real. O painel também pode ser usado para controlar o modelo de usuário e o comportamento do sistema. Por fim, discutimos um estudo no qual os usuários conversaram com o sistema instrumentado. Nossos resultados sugerem que os usuários apreciam ver os estados internos, o que os ajudou a expor comportamentos tendenciosos e aumentou seu senso de controle. Os participantes também fizeram sugestões valiosas que apontam para direções futuras tanto para o design quanto para a pesquisa em aprendizado de máquina. A página do projeto e a demonstração em vídeo do nosso sistema TalkTuner estão disponíveis em https://bit.ly/talktuner-project-page.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page