WildVis: открытая система визуализации миллионных логов чатов в естественной среде

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

Авторы: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

Аннотация

Растущая доступность данных реальных разговоров открывает перед исследователями уникальные возможности для изучения взаимодействий пользователей с чат-ботами. Однако значительный объем таких данных делает ручной анализ отдельных диалогов непрактичным. Для решения этой проблемы мы представляем WildVis — интерактивный инструмент, позволяющий проводить быстрый, гибкий и масштабируемый анализ бесед. WildVis предоставляет возможности поиска и визуализации в текстовом и эмбеддинговом пространствах на основе заданных критериев. Для работы с наборами данных масштаба миллионов диалогов мы реализовали оптимизации, включая построение поискового индекса, предварительное вычисление и сжатие эмбеддингов, а также кэширование для обеспечения отзывчивого взаимодействия с пользователем в течение секунд. Мы демонстрируем полезность WildVis на трех примерах: содействие исследованию злоупотреблений чат-ботами, визуализация и сравнение тематических распределений в различных наборах данных, а также выявление пользовательских паттернов коммуникации. WildVis имеет открытый исходный код и разработан с возможностью расширения, поддерживая подключение дополнительных наборов данных и настраиваемые функции поиска и визуализации.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.