AllHands: 대규모 언어 모델을 통한 대규모 원문 피드백에 관한 질문 답변

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

저자: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

초록

직접적인 피드백은 사용자 경험, 의견 및 요구사항을 담고 있는 소프트웨어 개발에 필수적인 귀중한 자료원입니다. 이러한 데이터에서 가치 있는 통찰을 효과적이고 효율적으로 추출하는 것은 어려운 과제입니다. 본 논문은 대규모 언어 모델(LLMs)을 활용하여 자연어 인터페이스를 통해 대규모 피드백 분석을 수행하는 혁신적인 분석 프레임워크인 Allhands를 소개합니다. Allhands는 기존의 피드백 분석 워크플로우를 따르며, 먼저 피드백에 대한 분류 및 토픽 모델링을 수행하여 이를 구조적으로 강화된 형식으로 변환하고, LLMs를 활용하여 정확성, 견고성, 일반화 및 사용자 친화성을 향상시킵니다. 이후, LLM 에이전트를 사용하여 피드백에 대한 사용자의 다양한 자연어 질문을 해석하고 이를 실행 가능한 Python 코드로 변환한 후, 텍스트, 코드, 테이블 및 이미지를 포함한 포괄적인 다중 모드 응답을 제공합니다. 우리는 Allhands를 세 가지 다양한 피드백 데이터셋에서 평가했습니다. 실험 결과, Allhands는 분류 및 토픽 모델링을 포함한 분석의 모든 단계에서 우수한 효율성을 달성하며, 궁극적으로 사용자에게 "무엇이든 물어보세요" 경험을 제공하며 포괄적이고 정확하며 인간이 읽기 쉬운 응답을 제공합니다. 우리가 아는 한, Allhands는 자연어 인터페이스를 통해 다양한 맞춤형 요구사항을 지원하는 첫 번째 포괄적인 피드백 분석 프레임워크입니다.

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.