AllHands: Спросите меня о чем угодно о масштабных текстовых обратных связях с помощью крупномасштабных языковых моделей.

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

Авторы: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

Аннотация

Дословная обратная связь представляет собой ценный репозиторий пользовательских опытов, мнений и требований, необходимых для разработки программного обеспечения. Эффективное и эффективное извлечение ценных идей из таких данных представляет собой сложную задачу. В данной статье представлен Allhands, инновационная аналитическая платформа, разработанная для анализа обратной связи в крупном масштабе через естественный языковой интерфейс, используя большие языковые модели (LLM). Allhands придерживается обычного рабочего процесса анализа обратной связи, начиная с классификации и моделирования тем обратной связи для их преобразования в структурно дополненный формат, интегрируя LLM для повышения точности, надежности, обобщения и удобства использования. Впоследствии используется агент LLM для интерпретации разнообразных вопросов пользователей на естественном языке по обратной связи, перевода их в код Python для выполнения и предоставления комплексных мультимодальных ответов, включая текст, код, таблицы и изображения. Мы оцениваем Allhands на трех различных наборах данных обратной связи. Эксперименты показывают, что Allhands достигает превосходной эффективности на всех этапах анализа, включая классификацию и моделирование тем, в конечном итоге предоставляя пользователям опыт "спроси меня что угодно" с полным, правильным и читаемым человеком ответом. На наш взгляд, Allhands является первой комплексной платформой анализа обратной связи, которая поддерживает разнообразные и настраиваемые требования для извлечения идей через естественный языковой интерфейс.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.