Разработка панели управления для обеспечения прозрачности и контроля над разговорным искусственным интеллектом.

Designing a Dashboard for Transparency and Control of Conversational AI

June 12, 2024

Авторы: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas

cs.AI

Аннотация

Разговорные LLM-модели функционируют как черные ящики, оставляя пользователей в недоумении относительно причин вывода, который они видят. Этот недостаток прозрачности потенциально проблематичен, особенно учитывая опасения относительно предвзятости и достоверности. Для решения этой проблемы мы представляем прототип конечного до конечного, объединяющий техники интерпретируемости с дизайном пользовательского опыта, который направлен на увеличение прозрачности чат-ботов. Мы начинаем с демонстрации доказательств того, что у известной LLM-модели с открытым исходным кодом есть "модель пользователя": анализируя внутреннее состояние системы, мы можем извлечь данные, связанные с возрастом пользователя, полом, уровнем образования и социоэкономическим статусом. Затем мы описываем дизайн панели управления, сопровождающей интерфейс чат-бота, отображающей эту модель пользователя в реальном времени. Панель управления также может использоваться для контроля модели пользователя и поведения системы. Наконец, мы обсуждаем исследование, в рамках которого пользователи общались с инструментированной системой. Наши результаты показывают, что пользователи оценили возможность видеть внутренние состояния, что помогло им выявить предвзятое поведение и увеличило их чувство контроля. Участники также сделали ценные предложения, указывающие на будущие направления как в дизайне, так и в исследованиях машинного обучения. Страница проекта и видеодемонстрация нашей системы TalkTuner доступны по ссылке https://bit.ly/talktuner-project-page

English

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page