WildVis: Open Source Visualisator voor Chatlogs op Miljoenschaal in de Praktijk

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

Auteurs: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

Samenvatting

De toenemende beschikbaarheid van real-world gespreksgegevens biedt spannende mogelijkheden voor onderzoekers om interacties tussen gebruikers en chatbots te bestuderen. De enorme omvang van deze gegevens maakt het echter onpraktisch om individuele gesprekken handmatig te onderzoeken. Om deze uitdaging het hoofd te bieden, introduceren we WildVis, een interactieve tool die snelle, veelzijdige en grootschalige gespreksanalyse mogelijk maakt. WildVis biedt zoek- en visualisatiemogelijkheden in de tekst- en embeddingruimten op basis van een lijst met criteria. Om datasets op miljoenschaal te beheren, hebben we optimalisaties geïmplementeerd, waaronder de aanleg van een zoekindex, vooraf berekende en gecomprimeerde embeddings, en caching om responsieve gebruikersinteracties binnen enkele seconden te garanderen. We demonstreren de bruikbaarheid van WildVis via drie casestudies: het faciliteren van onderzoek naar misbruik van chatbots, het visualiseren en vergelijken van topicverdelingen tussen datasets, en het in kaart brengen van gebruikersspecifieke gesprekspatronen. WildVis is open-source en ontworpen om uitbreidbaar te zijn, met ondersteuning voor aanvullende datasets en aangepaste zoek- en visualisatiefunctionaliteiten.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.