WildVis: Visualizador de Código Aberto para Registros de Chat em Escala Milionária em Ambientes Reais

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

Autores: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

Resumo

A crescente disponibilidade de dados de conversas do mundo real oferece oportunidades empolgantes para os pesquisadores estudarem as interações entre utilizadores e chatbots. No entanto, o volume massivo destes dados torna a análise manual de conversas individuais impraticável. Para superar este desafio, apresentamos o WildVis, uma ferramenta interativa que permite uma análise de conversas rápida, versátil e em larga escala. O WildVis oferece capacidades de pesquisa e visualização nos espaços de texto e de incorporação (embeddings) com base numa lista de critérios. Para gerir conjuntos de dados à escala de milhões, implementámos otimizações que incluem a construção de índices de pesquisa, pré-cálculo e compressão de incorporações, e cache, de modo a garantir interações do utilizador responsivas em questão de segundos. Demonstramos a utilidade do WildVis através de três estudos de caso: facilitar a investigação sobre o uso indevido de chatbots, visualizar e comparar distribuições de tópicos entre conjuntos de dados e caracterizar padrões de conversa específicos do utilizador. O WildVis é de código aberto e foi concebido para ser extensível, suportando conjuntos de dados adicionais e funcionalidades personalizadas de pesquisa e visualização.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.