FlowMind: LLM 기반 자동 워크플로우 생성

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

저자: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

초록

급속히 발전하는 로보틱 프로세스 자동화(RPA) 분야는 반복적인 프로세스 자동화에서 상당한 진전을 이루었지만, 사용자가 요구하는 즉흥적이거나 예측 불가능한 작업이 필요한 시나리오에서는 그 효과가 감소합니다. 본 논문은 이러한 한계를 해결하고 자동 워크플로우 생성 시스템을 구축하기 위해 생성형 사전 훈련 변환기(GPT)와 같은 대형 언어 모델(LLM)의 능력을 활용한 새로운 접근 방식인 FlowMind를 소개합니다. FlowMind에서는 신뢰할 수 있는 애플리케이션 프로그래밍 인터페이스(API)와 함께 LLM의 추론을 기반으로 하는 일반적인 프롬프트 레시피를 제안합니다. 이를 통해 FlowMind는 LLM에서 흔히 발생하는 환각 문제를 완화할 뿐만 아니라, LLM과 독점 데이터 또는 코드 간의 직접적인 상호작용을 제거하여 정보의 무결성과 기밀성을 보장합니다. 이는 금융 서비스에서 핵심적인 요소입니다. FlowMind는 또한 자동 생성된 워크플로우에 대한 상위 수준의 설명을 제공하여 사용자가 효과적으로 검토하고 피드백을 제공할 수 있도록 함으로써 사용자 상호작용을 더욱 단순화합니다. 또한, 펀드에 대한 N-CEN 보고서에서 질문-응답 작업을 벤치마킹하기 위한 새로운 금융 데이터셋인 NCEN-QA를 소개합니다. NCEN-QA를 사용하여 FlowMind에 의해 생성된 워크플로우의 성능을 기준선 및 FlowMind의 변형과 비교 평가했습니다. 이를 통해 FlowMind의 성공, 제안된 프롬프트 레시피의 각 구성 요소의 중요성, 그리고 FlowMind에서의 사용자 상호작용과 피드백의 효과를 입증했습니다.

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.