Progettazione di un Dashboard per Trasparenza e Controllo dell'Intelligenza Artificiale Conversazionale

Abstract

I modelli linguistici conversazionali (LLM) funzionano come sistemi a scatola chiusa, lasciando gli utenti a supporre il motivo per cui ottengono determinati output. Questa mancanza di trasparenza è potenzialmente problematica, soprattutto considerando le preoccupazioni riguardanti i pregiudizi e l'affidabilità. Per affrontare questo problema, presentiamo un prototipo end-to-end che collega tecniche di interpretabilità al design dell'esperienza utente, con l'obiettivo di rendere i chatbot più trasparenti. Iniziamo mostrando evidenze che un noto LLM open-source possiede un "modello utente": esaminando lo stato interno del sistema, è possibile estrarre dati relativi all'età, al genere, al livello di istruzione e allo status socioeconomico dell'utente. Successivamente, descriviamo il design di una dashboard che accompagna l'interfaccia del chatbot, visualizzando questo modello utente in tempo reale. La dashboard può anche essere utilizzata per controllare il modello utente e il comportamento del sistema. Infine, discutiamo uno studio in cui gli utenti hanno interagito con il sistema strumentato. I nostri risultati suggeriscono che gli utenti apprezzano la visualizzazione degli stati interni, che li ha aiutati a identificare comportamenti pregiudizievoli e ha aumentato il loro senso di controllo. I partecipanti hanno anche fornito suggerimenti preziosi che indicano direzioni future sia per il design che per la ricerca nel campo dell'apprendimento automatico. La pagina del progetto e la demo video del nostro sistema TalkTuner sono disponibili all'indirizzo https://bit.ly/talktuner-project-page.

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page

Progettazione di un Dashboard per Trasparenza e Controllo dell'Intelligenza Artificiale Conversazionale

Designing a Dashboard for Transparency and Control of Conversational AI

Abstract

Support