AllHands: Pregúntame lo que sea sobre retroalimentación textual a gran escala mediante modelos de lenguaje de gran escala

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Autores: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Resumen

Los comentarios textuales constituyen un valioso repositorio de experiencias, opiniones y requisitos de los usuarios esenciales para el desarrollo de software. Extraer de manera efectiva y eficiente información valiosa de dichos datos representa una tarea desafiante. Este artículo presenta Allhands, un marco analítico innovador diseñado para el análisis de comentarios a gran escala a través de una interfaz de lenguaje natural, aprovechando los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Allhands sigue un flujo de trabajo convencional de análisis de comentarios, comenzando con la clasificación y el modelado de temas en los comentarios para convertirlos en un formato estructuralmente mejorado, incorporando LLMs para aumentar la precisión, robustez, generalización y facilidad de uso. Posteriormente, se emplea un agente basado en LLM para interpretar las diversas preguntas de los usuarios en lenguaje natural sobre los comentarios, traduciéndolas a código Python para su ejecución y proporcionando respuestas multimodales completas, incluyendo texto, código, tablas e imágenes. Evaluamos Allhands en tres conjuntos de datos de comentarios diversos. Los experimentos demuestran que Allhands logra una eficacia superior en todas las etapas del análisis, incluyendo la clasificación y el modelado de temas, ofreciendo finalmente a los usuarios una experiencia de "pregúntame cualquier cosa" con respuestas completas, correctas y legibles para humanos. Hasta donde sabemos, Allhands se erige como el primer marco integral de análisis de comentarios que respalda requisitos diversos y personalizados para la extracción de insights a través de una interfaz de lenguaje natural.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.