WildVis: Open-Source-Visualisierungswerkzeug für Millionen von Chatprotokollen aus realen Umgebungen

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

papers.authors: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

papers.abstract

Die zunehmende Verfügbarkeit von Konversationsdaten aus der Praxis eröffnet Forschenden spannende Möglichkeiten, Interaktionen zwischen Nutzern und Chatbots zu untersuchen. Allerdings macht das schiere Volumen dieser Daten eine manuelle Untersuchung einzelner Konversationen unpraktikabel. Um diese Herausforderung zu bewältigen, stellen wir WildVis vor, ein interaktives Tool, das eine schnelle, vielseitige und groß angelegte Konversationsanalyse ermöglicht. WildVis bietet Such- und Visualisierungsfunktionen im Text- und Embedding-Raum auf Basis einer Liste von Kriterien. Um Datensätze im Millionenbereich zu verwalten, haben wir Optimierungen implementiert, darunter die Erstellung von Suchindizes, Vorberechnung und Komprimierung von Embeddings sowie Caching, um reaktionsschnelle Benutzerinteraktionen innerhalb von Sekunden zu gewährleisten. Wir demonstrieren den Nutzen von WildVis anhand dreier Fallstudien: Unterstützung der Erforschung von Chatbot-Missbrauch, Visualisierung und Vergleich von Themenverteilungen in verschiedenen Datensätzen sowie Charakterisierung nutzerspezifischer Konversationsmuster. WildVis ist quelloffen und erweiterbar konzipiert, sodass zusätzliche Datensätze sowie angepasste Such- und Visualisierungsfunktionen unterstützt werden.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.