WildVis : Visualiseur Open Source pour les Journaux de Discussion à l'Échelle du Million en Contexte Réel

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

papers.authors: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

papers.abstract

La disponibilité croissante de données conversationnelles réelles offre des opportunités passionnantes aux chercheurs pour étudier les interactions utilisateur-chatbot. Cependant, le volume considérable de ces données rend l'examen manuel des conversations individuelles impraticable. Pour surmonter cette difficulté, nous présentons WildVis, un outil interactif permettant une analyse conversationnelle rapide, polyvalente et à grande échelle. WildVis offre des capacités de recherche et de visualisation dans les espaces textuels et d'embedding basées sur une liste de critères. Pour gérer des jeux de données à l'échelle du million, nous avons mis en œuvre des optimisations incluant la construction d'index de recherche, le précalcul et la compression des embeddings, et la mise en cache afin de garantir des interactions utilisateur réactives en quelques secondes. Nous démontrons l'utilité de WildVis à travers trois études de cas : faciliter la recherche sur les utilisations abusives des chatbots, visualiser et comparer les distributions thématiques entre jeux de données, et caractériser les patterns conversationnels spécifiques aux utilisateurs. WildVis est open-source et conçu pour être extensible, prenant en charge des jeux de données supplémentaires ainsi que des fonctionnalités de recherche et de visualisation personnalisées.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.