AllHands: Vraag Me Alles over Grootschalige Letterlijke Feedback via Grote Taalmodellen

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Auteurs: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Samenvatting

Letterlijke feedback vormt een waardevolle bron van gebruikerservaringen, meningen en vereisten die essentieel zijn voor softwareontwikkeling. Het effectief en efficiënt extraheren van waardevolle inzichten uit dergelijke data is een uitdagende taak. Dit artikel introduceert Allhands, een innovatief analysekader ontworpen voor grootschalige feedbackanalyse via een natuurlijke taalinterface, waarbij gebruik wordt gemaakt van grote taalmodellen (LLM's). Allhands volgt een conventionele feedbackanalysewerkflow, waarbij eerst classificatie en topicmodellering op de feedback worden uitgevoerd om deze om te zetten in een structureel versterkt formaat, waarbij LLM's worden ingezet om nauwkeurigheid, robuustheid, generalisatie en gebruiksvriendelijkheid te verbeteren. Vervolgens wordt een LLM-agent gebruikt om de diverse vragen van gebruikers in natuurlijke taal over feedback te interpreteren, deze om te zetten in Python-code voor uitvoering, en uitgebreide multimodale antwoorden te leveren, inclusief tekst, code, tabellen en afbeeldingen. We evalueren Allhands op drie verschillende feedbackdatasets. De experimenten tonen aan dat Allhands superieure effectiviteit bereikt in alle fasen van de analyse, inclusief classificatie en topicmodellering, en uiteindelijk gebruikers een "vraag me alles" ervaring biedt met uitgebreide, correcte en menselijk leesbare antwoorden. Voor zover wij weten, staat Allhands als het eerste uitgebreide feedbackanalysekader dat diverse en gepersonaliseerde vereisten voor inzichtextractie ondersteunt via een natuurlijke taalinterface.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.