FlowMind: LLMによる自動ワークフロー生成

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

著者: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

要旨

急速に進化するロボティック・プロセス・オートメーション（RPA）の分野は、反復的なプロセスの自動化において大きな進展を遂げてきたが、ユーザーが要求する自発的または予測不可能なタスクを必要とするシナリオではその効果が低下する。本論文では、この制限を克服し、自動ワークフロー生成システムを構築するために、Generative Pretrained Transformer（GPT）などの大規模言語モデル（LLM）の能力を活用した新しいアプローチであるFlowMindを紹介する。FlowMindでは、LLMの推論を信頼性のあるアプリケーション・プログラミング・インターフェース（API）に基づかせるための汎用的なプロンプトレシピを提案する。これにより、FlowMindはLLMにおける一般的な問題である「幻覚」を軽減するだけでなく、LLMと機密データやコードとの直接的な相互作用を排除し、金融サービスにおける情報の完全性と機密性を確保する。さらに、FlowMindは自動生成されたワークフローの高レベルな説明を提示することでユーザーインタラクションを簡素化し、ユーザーが効果的に検査しフィードバックを提供できるようにする。また、ファンドに関するN-CENレポートからの質問応答タスクをベンチマークするための新しい金融データセットであるNCEN-QAを紹介する。NCEN-QAを使用して、FlowMindによって生成されたワークフローのパフォーマンスをベースラインおよびFlowMindのアブレーションバリアントと比較評価した。FlowMindの成功、提案されたプロンプトレシピの各コンポーネントの重要性、およびFlowMindにおけるユーザーインタラクションとフィードバックの有効性を実証する。

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.