AllHands: Pergunte-me Qualquer Coisa sobre Feedback Literal em Grande Escala via Modelos de Linguagem de Grande Porte

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Autores: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Resumo

O feedback textual constitui um repositório valioso de experiências, opiniões e requisitos dos usuários, essenciais para o desenvolvimento de software. Extrair insights valiosos de forma eficaz e eficiente a partir desses dados representa uma tarefa desafiadora. Este artigo apresenta o Allhands, uma estrutura analítica inovadora projetada para a análise de feedback em larga escala por meio de uma interface de linguagem natural, aproveitando modelos de linguagem de grande escala (LLMs). O Allhands segue um fluxo de trabalho convencional de análise de feedback, inicialmente realizando classificação e modelagem de tópicos no feedback para convertê-lo em um formato estruturalmente aprimorado, incorporando LLMs para aumentar a precisão, robustez, generalização e facilidade de uso. Posteriormente, um agente LLM é empregado para interpretar as diversas perguntas dos usuários em linguagem natural sobre o feedback, traduzindo-as em código Python para execução e fornecendo respostas multimodais abrangentes, incluindo texto, código, tabelas e imagens. Avaliamos o Allhands em três conjuntos de dados de feedback diversos. Os experimentos demonstram que o Allhands alcança eficácia superior em todas as etapas da análise, incluindo classificação e modelagem de tópicos, oferecendo aos usuários uma experiência de "pergunte-me qualquer coisa" com respostas abrangentes, corretas e de fácil compreensão. Até onde sabemos, o Allhands se destaca como a primeira estrutura abrangente de análise de feedback que suporta requisitos diversos e personalizados para extração de insights por meio de uma interface de linguagem natural.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.