AllHands: Frag mich alles über groß angelegtes wortwörtliches Feedback mittels großer Sprachmodelle

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Autoren: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Zusammenfassung

Wörtliches Feedback stellt ein wertvolles Repository von Benutzererfahrungen, Meinungen und Anforderungen dar, die für die Softwareentwicklung unerlässlich sind. Das Extrahieren wertvoller Erkenntnisse aus solchen Daten stellt eine anspruchsvolle Aufgabe dar. Dieser Artikel stellt Allhands vor, ein innovatives analytisches Framework, das für die Analyse von Feedback im großen Maßstab durch eine natürliche Sprachschnittstelle konzipiert ist und dabei auf große Sprachmodelle (LLMs) zurückgreift. Allhands folgt einem herkömmlichen Feedback-Analyse-Workflow, der zunächst Klassifizierung und Themenmodellierung des Feedbacks durchführt, um sie in ein strukturell erweitertes Format umzuwandeln, das LLMs zur Verbesserung von Genauigkeit, Robustheit, Verallgemeinerung und Benutzerfreundlichkeit integriert. Anschließend wird ein LLM-Agent eingesetzt, um die vielfältigen Fragen der Benutzer in natürlicher Sprache zum Feedback zu interpretieren, sie in Python-Code für die Ausführung zu übersetzen und umfassende multimodale Antworten bereitzustellen, einschließlich Text, Code, Tabellen und Bildern. Wir evaluieren Allhands anhand von drei verschiedenen Feedback-Datensätzen. Die Experimente zeigen, dass Allhands eine überlegene Wirksamkeit in allen Analysephasen aufweist, einschließlich Klassifizierung und Themenmodellierung, und den Benutzern letztendlich ein "Frag mich alles" -Erlebnis mit umfassenden, korrekten und menschenlesbaren Antworten bietet. Soweit uns bekannt ist, ist Allhands das erste umfassende Feedback-Analyserahmenwerk, das vielfältige und individuelle Anforderungen für die Erkenntnisgewinnung durch eine natürliche Sprachschnittstelle unterstützt.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.