AllHands: 大規模言語モデルを用いた逐語的フィードバックに関する質問応答システム

AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

March 22, 2024

著者: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

cs.AI

要旨

逐語的なフィードバックは、ソフトウェア開発に不可欠なユーザー体験、意見、要件の貴重なリポジトリを構成します。このようなデータから価値ある洞察を効果的かつ効率的に抽出することは、困難な課題です。本論文では、大規模言語モデル（LLM）を活用した自然言語インターフェースによる大規模フィードバック分析のための革新的な分析フレームワーク「Allhands」を紹介します。Allhandsは、従来のフィードバック分析ワークフローに従い、最初にフィードバックの分類とトピックモデリングを行い、それらを構造的に強化された形式に変換します。これにより、LLMを活用して精度、堅牢性、汎用性、ユーザーフレンドリー性を向上させます。その後、LLMエージェントを使用して、フィードバックに関するユーザーの多様な自然言語質問を解釈し、それらをPythonコードに変換して実行し、テキスト、コード、表、画像を含む包括的なマルチモーダル応答を提供します。 Allhandsを3つの異なるフィードバックデータセットで評価しました。実験結果は、Allhandsが分類やトピックモデリングを含む分析の全段階で優れた効果を発揮し、最終的にユーザーに包括的で正確かつ人間が読みやすい応答を提供する「何でも聞いてください」体験を実現することを示しています。私たちの知る限り、Allhandsは、自然言語インターフェースを通じて多様でカスタマイズされた洞察抽出の要件をサポートする最初の包括的なフィードバック分析フレームワークです。

English

Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.