AllHands: Chiedimi Qualsiasi Cosa sul Feedback Verbatim su Larga Scala tramite Modelli Linguistici di Grandi Dimensioni

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Autori: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Abstract

Il feedback verbatim costituisce un prezioso archivio di esperienze, opinioni e requisiti degli utenti, essenziali per lo sviluppo del software. Estrarre in modo efficace ed efficiente informazioni utili da tali dati rappresenta un compito impegnativo. Questo articolo introduce Allhands, un innovativo framework analitico progettato per l'analisi su larga scala del feedback attraverso un'interfaccia in linguaggio naturale, sfruttando i grandi modelli linguistici (LLM). Allhands segue un flusso di lavoro convenzionale per l'analisi del feedback, iniziando con la classificazione e la modellazione degli argomenti sui feedback per convertirli in un formato strutturalmente arricchito, incorporando gli LLM per migliorare accuratezza, robustezza, generalizzazione e facilità d'uso. Successivamente, un agente LLM viene impiegato per interpretare le diverse domande degli utenti in linguaggio naturale sui feedback, tradurle in codice Python per l'esecuzione e fornire risposte multimodali complete, inclusi testo, codice, tabelle e immagini. Valutiamo Allhands su tre diversi dataset di feedback. Gli esperimenti dimostrano che Allhands raggiunge un'efficacia superiore in tutte le fasi dell'analisi, inclusa la classificazione e la modellazione degli argomenti, offrendo infine agli utenti un'esperienza "chiedimi qualsiasi cosa" con risposte complete, corrette e di facile lettura. Per quanto ne sappiamo, Allhands rappresenta il primo framework completo per l'analisi del feedback che supporta requisiti diversificati e personalizzati per l'estrazione di insight attraverso un'interfaccia in linguaggio naturale.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.