WildVis: Visualizzatore Open Source per Log di Chat su Scala Milionaria in Ambiente Reale

WildVis: Open Source Visualizer for Million-Scale Chat Logs in the Wild

September 5, 2024

Autori: Yuntian Deng, Wenting Zhao, Jack Hessel, Xiang Ren, Claire Cardie, Yejin Choi

cs.AI

Abstract

La crescente disponibilità di dati conversazionali del mondo reale offre opportunità entusiasmanti per i ricercatori che studiano le interazioni utente-chatbot. Tuttavia, l'enorme volume di questi dati rende impraticabile l'analisi manuale delle singole conversazioni. Per superare questa sfida, presentiamo WildVis, uno strumento interattivo che consente un'analisi conversazionale rapida, versatile e su larga scala. WildVis fornisce funzionalità di ricerca e visualizzazione negli spazi testuali e di embedding basate su una serie di criteri. Per gestire dataset su scala milionaria, abbiamo implementato ottimizzazioni che includono la costruzione di indici di ricerca, precalcolo e compressione degli embedding, e meccanismi di caching per garantire interazioni utente reattive nell'arco di secondi. Dimostriamo l'utilità di WildVis attraverso tre casi di studio: facilitare la ricerca sull'uso improprio dei chatbot, visualizzare e confrontare le distribuzioni tematiche tra dataset, e caratterizzare modelli conversazionali specifici dell'utente. WildVis è open-source e progettato per essere estendibile, supportando dataset aggiuntivi e funzionalità personalizzate di ricerca e visualizzazione.

English

The increasing availability of real-world conversation data offers exciting opportunities for researchers to study user-chatbot interactions. However, the sheer volume of this data makes manually examining individual conversations impractical. To overcome this challenge, we introduce WildVis, an interactive tool that enables fast, versatile, and large-scale conversation analysis. WildVis provides search and visualization capabilities in the text and embedding spaces based on a list of criteria. To manage million-scale datasets, we implemented optimizations including search index construction, embedding precomputation and compression, and caching to ensure responsive user interactions within seconds. We demonstrate WildVis's utility through three case studies: facilitating chatbot misuse research, visualizing and comparing topic distributions across datasets, and characterizing user-specific conversation patterns. WildVis is open-source and designed to be extendable, supporting additional datasets and customized search and visualization functionalities.