AllHands : Posez-moi n'importe quelle question sur les retours verbatim à grande échelle via les modèles de langage de grande taille

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Auteurs: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Résumé

Les retours verbatim constituent un précieux réservoir d'expériences utilisateur, d'opinions et de besoins essentiels au développement logiciel. Extraire efficacement et de manière efficiente des insights pertinents de ces données représente une tâche complexe. Cet article présente Allhands, un cadre d'analyse innovant conçu pour l'analyse à grande échelle des retours via une interface en langage naturel, exploitant les modèles de langage de grande taille (LLMs). Allhands suit un flux de travail conventionnel d'analyse des retours, commençant par effectuer une classification et une modélisation thématique sur les retours pour les convertir en un format structurellement enrichi, intégrant des LLMs pour améliorer la précision, la robustesse, la généralisation et la convivialité. Ensuite, un agent LLM est utilisé pour interpréter les diverses questions des utilisateurs en langage naturel sur les retours, les traduire en code Python pour exécution, et fournir des réponses multimodales complètes, incluant du texte, du code, des tableaux et des images. Nous évaluons Allhands sur trois ensembles de données de retours variés. Les expériences démontrent qu'Allhands atteint une efficacité supérieure à toutes les étapes de l'analyse, y compris la classification et la modélisation thématique, offrant finalement aux utilisateurs une expérience « demandez-moi n'importe quoi » avec des réponses complètes, correctes et lisibles par un humain. À notre connaissance, Allhands se positionne comme le premier cadre d'analyse de retours complet qui prend en charge des besoins divers et personnalisés pour l'extraction d'insights via une interface en langage naturel.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.